信息熵，条件熵，信息增益与信息增益比

最新推荐文章于 2024-06-28 23:14:47 发布
最新推荐文章于 2024-06-28 23:14:47 发布
阅读量621 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LookayKwok/article/details/81409214
版权

1. 信息熵

熵表示随机变量不确定性的度量。设 X 是一个取有限值的离散随机变量，其概率分布为

                                                                        P(X=x_{i})=p_{i}, i=1,2,...,n

那么随机变量 X 的信息熵为

                                                                                 H(X)=- \sum_{i=1}^n{p_ilogp_i}}

 当 p_1=p_2=...=p_n=\frac{1}{n} 时，信息熵H(X) 取最大。

1.1 证明

要求 H(X) 最大

                                                                        maxH(X)=- \sum_{i=1}^n{p_ilogp_i}}, st. \sum_{i=1}^np_i=1

首先构造拉格朗日公式，

                                                                     maxL(X,\alpha )=- \sum_{i=1}^n{p_ilogp_i}} + \alpha(\sum_{i=1}^np_i-1)

然后对 p_i 求导，得到 p_i 为一常数，所以结论成立。

2. 条件熵

条件熵 H(Y|X) 表示已知随机变量 X 的条件下，随机变量 Y 的不确定性，定义为

                                                                               H(Y|X)=\sum_{i=1}^n{p_iH(Y|X=x_i)}

其中，p_i=P(X=x_i), i=1,2,...n

3. 信息增益

特征 A 对训练集 D 的信息增益 g(D, A) 是，集合 D 的经验熵 H(D) 与给定特征 A 的条件下 D 的经验条件熵 H(D|A) 之差，即

                                                                                    g(D, A)=H(D)-H(D|A)

一般地，熵 H(Y) 与条件熵 H(Y|X) 之差称为互信息。

信息增益表示特征 A 对训练集 D 的分类不确定性的减少程度。

4. 信息增益比

特征 A 对训练集 D 的信息增益比的定义是

                                                                                       g_r(D,A)=\frac{g(D,A)}{H(A)}

lookaykwok
关注
专栏目录
【概率论】——熵、条件熵、信息增益
Giyn
04-24 3058
熵的含义： 在信息论中，熵（英语：entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）——维基百科。 我们可以直观地把熵理解为一个事件的结果的不确定性，或者信息量，其单位为 bit。 熵的计算： 熵描述的是个事件的不确定性，如...
信息熵、条件熵、信息增益
SmartDemo的博客
06-25 2387
其中：：样本属于第i个类别的概率：总样本数：集合中属于第个类别的样本个数。
信息熵、条件熵、信息增益率
weixin_67463124的博客
04-14 3362
信息熵、条件熵、信息增益率直观讲解
信息增益（ID3算法）
最新发布
...
06-28 928
其中，log是以2为底的对数，这个选择使得信息熵的单位是比特（bit）。如果使用其他底数的对数，信息熵的单位会相应改变，但其量值的相对大小不变，因为对数函数的换底公式保证了这一点。在信息论中，熵描述了一条消息或一个信号所携带的信息量的期望值，即接收到该消息后所能消除的不确定性量。熵反映了数据集的纯度或不确定性，熵越高表示数据集中类别的分布越混杂，不确定性越大。的特征，因为这类特征能够产生更多的子集，即使这些子集的纯度提升不大，也可能导致。因此，在这个天气预报的例子中，明天天气的信息熵约为1.751比特。
信息熵(Entropy)、信息增益(Information Gain)
weixin_30753873的博客
11-02 253
参考自：Andrew Moore:http://www.cs.cmu.edu/~awm/tutorials 参考文档见：AndrewMoore_InformationGain.pdf 1、 信息熵：H(X) 描述X携带的信息量。 信息量越大（值变化越多），则越不确定，越不容易被预测。 对于抛硬币问题，每次有2种情况，信息熵为1 对于投骰子问题，...
信息量、信息熵、条件熵、信息增益
没有格子衬衫的程序员
08-07 1325
信息量 有时候，当你知道某件事情的时候，你可能会说 “这有什么奇怪的啊”，比如，有同事告诉你“明天太阳从东边升起”，这就是说这件事情的信息量比较少。 又比如，当你知道明天彩票号码时，你就可能会说 “这个事是真的吗，太不可思议了”，就是说这件事情信息量比较大。 从上面的事情就是对一件事情携带信息量的直观感受，那么从数学角度是否可以衡量信息量呢？又或者说有没有某个公式可以衡量信息量呢？ 我们来...
信息熵、信息增益、信息增益比
大屁孩的博客
04-02 5123
信息熵 “信息熵”是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为pk（k=1,2,…,|y|），则D的信息熵定义为： Ent(D)的值越小，则D的纯度越高。 如果上面的解释不容易理解，那么下面再通俗地解释一下： 首先来看一下信息熵这个公式在数轴上的表示： 可以看到，在概率为0.5的时候，信息熵是最大的（为1）。 我们可以把信息熵理解为“不确定性”，当概率为0.5...
信息熵.zip_信息 信息熵_信息增益_信息熵_信息熵计算_条件熵
07-15
可以计算信息熵、信息熵增益、以及选取较大增益属性作为分类条件
Python计算信息熵实例
09-16
4. `getEntropyGainRadio`：信息增益比是信息增益与特征熵的比率，它是一个更优的特征选择标准，因为信息增益可能偏爱具有大量取值的特征。 5. `getDiscreteCorr`：这个函数用于计算两个离散特征之间的相关性，利用...
各种信息熵.zip_信息熵_各种信息熵_各种熵_熵
07-15
压缩包中的“各种信息熵”文件可能包含了不同场景下计算和应用信息熵的代码示例，例如可能包括了计算离散熵、连续熵、条件熵、互信息等的Python脚本或MATLAB程序。通过运行和理解这些代码，你可以更直观地了解信息熵...
熵，条件熵，信息增益，信息增益比, gini系数 以及 交叉熵，相对熵 计算公式
weixin_38502514的博客
12-23 1915
熵，信息增益和gini系数 熵越大，不确定性越大 熵：H(X)=E[−logpk]=−∑kpklog⁡pkH(X)=E[-log{p_k}]=-\sum_k{p_k \log{p_k}}H(X)=E[−logpk​]=−∑k​pk​logpk​ 信息增益，就是给定条件前的熵减去给定条件后的熵，看熵减少多少 条件熵： H(X∣Y)=∑yp(y)H(X∣Y=y)H(X|Y)=\sum_y{p(y) H(X|Y=y)}H(X∣Y)=∑y​p(y)H(X∣Y=y) 信息增益： g(X,Y)=H(X)−H(X∣
信息熵、信息增益和信息增益比
qq_32323239的博客
07-19 374
1、信息熵公式 2、信息增益公式
信息熵 条件熵 信息增益 信息增益比 GINI系数
热门推荐
bitcarmanlee的博客
05-24 2万+
在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也用得灰常多。今天就把跟熵有关的东东稍微整理一下，权当笔记。1.信息熵熵是神马东东？信息论的开山祖师爷Shannon（中文翻译过来一般叫香农，总觉得很多文字经过翻译就不对劲，就跟人家老外翻译贱人就是矫情一样，感觉怪怪的。所以咱们还是用英文了，偷偷装个小逼）明确告诉我们，信息的不确定性可以用熵来表示： 对
信息、信息熵、条件熵、信息增益、信息增益率、GINI指数、交叉熵、相对熵
江湖人称星爷
08-09 6426
在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也常常是随处可见。自己在学习的过程中也会常常搞混，于是决定将所有与熵有关的概念整理总结，方便查看和学习。 1. 信息 它是熵和信息增益的基础概念。引用香农的话，信息是用来消除随机不确定性的东西。如果一个带分类的事物集合可以划分为多个类别，则其中某个类（xi）的信息定义：              ...
信息熵、信息增益与信息增益率
qq_40305043的博客
03-10 402
信息熵、信息增益与信息增益率信息熵、信息增益与信息...
超详细的信息熵、信息增益、信息增益比、基尼系数
snowdroptulip的博客
11-06 1万+
一、信息 在开始解释信息熵和信息增益之前，我们先来解释一下什么是信息：能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用户消费金额最多...
熵、信息增益、信息增益比
ysh126的专栏
11-11 891
熵是表示随机变量不确定性的度量，变量XX是一个取有限值的离散属性，其概率分布为P(X=xi)=pii=1,2,⋅⋅⋅,nP(X = {x_i}) = {p_i}{\rm{ i = 1,2,}} \cdot \cdot \cdot {\rm{,n}}其中nn为变量取值个数，那么变量 XX的熵定义为H(X)=−∑i=1npilogpiH(X) = - \sum\limits_{i = 1}^n
对条件熵和信息增益关系的理解
weixin_45834080的博客
11-12 448
目录一、信息熵 一、信息熵 信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。其公式为： 其中 p(xi)p(x_i)p(xi​)代表随机事件X为 xix_ixi​的概率 还有一种表示方法是： 假定当前样本集合D中第kkk类样本所占的比例为pk(k=1,2…，∣γ∣)p_k(k=1,2…，|γ|)pk​(k=1,2…，∣γ∣),则信息熵的公式为： ...
《统计学习方法》第5章Python3实现（一） 熵、条件熵、信息增益、信息增益比...
weixin_34217711的博客
12-27 840
2019独角兽企业重金招聘Python工程师标准>>> ...
决策树与集成算法解析：信息熵与增益
选取信息增益最大的特征作为根节点，接着对剩余数据重复这个过程，直至满足停止条件（如达到预设深度、节点包含样本数过少等）。 集成算法如随机森林和梯度提升机（GBDT）是基于决策树的更强大方法，它们通过组合多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值