Python3.x实现离散数据信息熵的计算

最新推荐文章于 2023-11-01 23:06:47 发布
最新推荐文章于 2023-11-01 23:06:47 发布
阅读量3.6k 收藏 18
点赞数
文章标签： python 信息论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40447251/article/details/95737283
版权
本文介绍了信息熵的概念，作为衡量变量不确定性的指标，它在信息论中扮演重要角色。通过数学公式解释了信息熵的计算方法，并提供了一个Python3.x的实现示例，详细展示了如何对一组离散数据计算信息熵的过程。
摘要由CSDN通过智能技术生成

一、信息熵

        信息论的背后是：从小概率事件中学习到更多有价值的信息。而如何对信息进行度量最初起源于1948年香农提出的信息熵。它用于衡量变量的不确定性，变量的不确定性越大，熵也就越大。如热力学中的热熵表示分子状态的混乱程度，熵越大，表示分子状态越混乱。

       同时，信息熵在数学上可用信息的期望值表示。

       假设对离散型事件 {X=x}\\，定义{x\mathop{​{}}\nolimits_{​{i}}}\\的信息为：

                          {I \left( x\mathop{​{}}\nolimits_{​{i}} \left) =-log\mathop{​{}}\nolimits_{​{2}}P \left( x\mathop{​{}}\nolimits_{​{i}} \right) \right. \right. }\\

其中，{P \left( x\mathop{​{}}\nolimits_{​{i}} \right) }\\表示变量

最低0.47元/天 解锁文章
qq_Newbie
关注
python计算信息熵_Python计算信息熵实例
weixin_39657125的博客
12-09 3928
计算信息熵的公式：n是类别数，p(xi)是第i类的概率假设数据集有m行，即m个样本，每一行最后一列为该样本的标签，计算数据集信息熵的代码如下：from math import logdef calcShannonEnt(dataSet):numEntries = len(dataSet) # 样本数labelCounts = {} # 该数据集每个类别的频数for featVec in dataS...
python3random linux熵_Python计算信息熵实例
weixin_39938522的博客
02-09 105
计算信息熵的公式：n是类别数，p(xi)是第i类的概率假设数据集有m行，即m个样本，每一行最后一列为该样本的标签，计算数据集信息熵的代码如下：from math import logdef calcShannonEnt(dataSet):numEntries = len(dataSet) # 样本数labelCounts = {} # 该数据集每个类别的频数for featVec in dataS...
熵值法的Python实现
热门推荐
qq_24975309的博客
08-24 3万+
  本人因项目需要，在python中实现熵值法，花了一段时间倒腾出来，与老铁们分享。 一熵值法介绍 熵值法是计算指标权重的经典算法之一，它是指用来判断某个指标的离散程度的数学方法。离散程度越大，即信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。根据熵的特性，我们可以通过计算熵值来判断一个事件的随机性及无序程度，也可以用熵值来判断某个指标的离散程度，指标的离散程度越...
【Python】计算一组数据的信息熵-混乱度
qq_43199876的博客
12-01 2124
python 计算信息熵 网上看到用collections的Counter类计数的，但是Counter计数的dict_value不知道怎么转为数组，所以用numpy的bincount计数。 bincount输入要求是整型，以array的格式返回数列的最大值最小值范围内每个数值出现的次数，没有出现的记0，返回array的长度是： max-min+1 代码： def entropy(pixels): num = len(pixels) pixels = pixels.astype(int)
离散信源的分类和数学模型&&离散无记忆信源的熵
weixin_30488313的博客
04-20 1764
1.离散信源的分类和数学模型 　　在离散时间发出离散符号的信源称为离散信源。如果信源符号集为有限集，则称为有限离散信源。如果信源符号集为无限可数集，则称为无限离散信源。 离散无记忆信源的N次拓展源：设信源为X，则由X构成的N维随机矢量集合XN = X1X2X3...XN(其中Xi与X同分布)，称为信源X的N次扩展源。 2.离散无记忆信源的熵 　　2.1离散平稳信源 若具有有限符号集A=...
Python计算信息熵实例
09-16
在Python中，我们可以编写函数来计算一个数据集的信息熵。这个实例中，我们主要关注如何使用Python来实现这一计算。 信息熵的计算公式如下： \[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) \] 其中，\( n \) 是...
一维熵二维熵局部熵的Python实现.zip
最新发布
02-04
总的来说，熵权法是一种基于信息熵理论的权重计算方法，通过Python实现一维熵、二维熵和局部熵，可以帮助我们理解和评估系统的不确定性和复杂性。结合实际问题，如数据分析、决策支持和图像处理，这种技术可以提供有...
离散度计算公式 python_Python实现熵值法确定权重
weixin_39945445的博客
11-24 803
本文从以下四个方面，介绍用Python实现熵值法确定权重：一. 熵值法介绍熵值法是计算指标权重的经典算法之一，它是指用来判断某个指标的离散程度的数学方法。离散程度越大，即信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。根据熵的特性，我们可以通过计算熵值来判断一个事件的随机性及无序程度，也可以用熵值来判断某个指标的离散程度，指标的离散程度越大，该指标对综合评价的影响越大。...
AI3 决策树的生成与训练-信息熵的计算
kling_bling的博客
08-16 570
决策树是非常经典的机器学习模型，以决策树为基模型的集成学习模型（XGBoost、GBDT 等）在工业界得到了极为广泛的应用。计算某一特征的信息增益主要分为两步，第一步是计算数据集的信息熵，信息熵可以表示为，其中代表的是属于某一类的样本个数，D 是整个数据集的样本数量，K 为类别数量。要求实现 calcInfoEnt 功能，数据集从当前路径下 dataSet.csv读取，计算在给定数据集的情况下，数据集的信息熵，信息熵用 infoEnt 进行表示，数据类型为 float，将 infoEnt 作为函数返回值。.
信息熵原理与Python实现
糊里糊涂
11-03 1180
信息熵/香农熵原理与Python实现代码
Python实现熵值法
xiaoxiaojie521的博客
12-22 3017
函数功能 熵值法计算各项目综合得分 函数调用 The_Entropy_method.get_weights(data, name_list=None) 输入参数 data：二维数组，指标数据 name_list：指标正负向，1-代表正向，0-代表负向，默认是None，全为正向。 输出 ws：所有指标权重，一维数组 score：所有项目综合得分，一维数组 index：所有项目的名次，一维数组 代码实现 import pandas as pd from sklearn.preprocessing import
用C语言实现：信息熵的计算（通过输入任意信源数量和相应的概率得到）
NeWorld20的博客
05-04 7168
（一）用C语言实现：信息熵的计算 (1) 信息熵的数学表达 1.1 自信息数学表达： 设离散信源X，其概率空间为： 如果知道事件xi已发生，则该事件所含有的自信息定义为： 1.2 信息熵数学表达： 平均信息量—信源熵：自信息的数学期望。 信息熵的单位：比特/符号。 (2) C语言实现信息熵计算 2.1 实现的功能 实现：可以输入任意的信源数量，以及对应数量的空间概率，从而求得任意的信息熵。 ...
信息熵及其Python的实现
s0302017的博客
03-27 9579
一、熵 熵，在信息论中是用来刻画信息混乱程度的一种度量。熵最早源于热力学，后应广泛用于物理、化学、信息论等领域。1850年，德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的均匀程度。1948年，Shannon在Bell System Technical Journal上发表文章“A Mathematical Theory of Communication”，将信息...
【Python】近似熵，样本熵，模糊熵计算高效版
Explore_Zhou
10-26 8603
最近在学习机器学习，发现对于与生物医学信号相关的机器学习任务，在选定特征时，各种针对时间序列的熵是绕不开的重要特征，诸如近似熵，样本熵，模糊熵等。因为它们所包含的信息要远比均值方差等特征要多得多，通过写python程序实现的过程中收获了不少，这里简单总结一下。计算各种熵的关键还是在于对计算方式的理解，如果博客说法不一，那就去查找文献，如果文献说法不一，那就去找提出这个熵的论文。
信息熵--（计算某个数据集的信息熵）
BKXjilu的博客
11-01 548
3.创建一个数据字典，以标签为键，标签个数为对应值。如果找不到标签，就要扩建数据集字典，加入该键，并记录当前类别出现的次数；如果已有标签，就在原有基础上加1。2.将数据集从文件中读取出来，分为特征集和标签集。4.按键遍历标签集，根据公式计算信息熵。表示第i个类别出现的概率；1.准备数据集 下载地址。
python数组运算技巧_python – 计算每个numpy数组行的熵的最快方法？
weixin_39877504的博客
12-08 824
scipy.special.entr为数组中的每个元素计算-x * log(x).调用之后,您可以对行进行求和.这是一个例子.首先,创建一个正数值的数组p,其行总和为1：In [23]: np.random.seed(123)In [24]: x = np.random.rand(3, 10)In [25]: p = x/x.sum(axis=1, keepdims=True)In [26]: p...
python通过信息增益的方法进行字符型离散特征之间的相关性分析
赴前尘
07-23 2151
参加了一个比赛，关于数据挖掘的多分类问题，特征集中包含了一些离散特征，通过计算信息增益来度量离散特征与目标特征之间的相关性 离散特征： accept_from 目标特征：CODE 代码实现： import pandas as pd import numpy as np # 信息熵 def info_entropy(attr): prob = pd.value_co...
Python 信息熵 条件信息熵 互信息（信息增益）的理解以及计算代码
Aka_Happy的博客
10-17 1万+
好久没更新博客了，最近在学习python的贝叶斯网络构造，卡在k2算法给无向图打分这一步很久了，然后微微头疼，决定把之前构造无向图里的自己写的小功能函数放出来，记录一下自己的成长过程，我比较菜，写出来如果有错误希望有缘人看到能够给出指正，如果没有错误，希望给路过的有缘人一些帮助！ 文章知识大部分摘自 通俗理解条件熵 （代码为原创，转载请标明！） 1 信息熵以及引出条件熵 1.1 信息熵 信息熵...
使用离散数据和信息熵计算权重占比python代码
07-15
要根据离散数据和信息熵计算权重占比，可以使用Python代码。以下是一个示例代码： ```python from collections import Counter import math # 创建一个离散数据集 data = [1, 2, 2, 3, 3, 3, 4, 4, 4, 4] # 计算每个元素的频率 value_counts = Counter(data) total_count = len(data) probabilities = [count / total_count for count in value_counts.values()] # 计算信息熵 entropy = -sum(p * math.log2(p) for p in probabilities) # 计算每个元素的权重占比 weights = [(-p * math.log2(p) / entropy) for p in probabilities] print("权重占比:", weights) ``` 在这个例子中，我们首先创建了一个离散数据集`data`，其中包含了一些整数值。 然后，我们使用`Counter`对象计算每个元素的频率，并将其转换为概率（即出现次数除以总数）。 接下来，我们计算了信息熵。这里使用了`math.log2`函数来计算以2为底的对数。 然后，我们计算了每个元素的权重占比。根据信息熵的定义，每个元素的权重占比等于其概率乘以其对应的信息量（即概率乘以以2为底的对数），再除以总的信息熵。 最后，我们打印出计算得到的权重占比。 希望对您有所帮助！如有任何疑问，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值