信息、信息熵、条件熵、信息增益、信息增益率、GINI指数、交叉熵、相对熵

最新推荐文章于 2024-07-24 17:03:56 发布
最新推荐文章于 2024-07-24 17:03:56 发布
阅读量6.4k 收藏 40
点赞数 7
分类专栏： 机器学习 文章标签： 熵 信息增益 GINI指数 交叉熵 K-L散度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ywx1832990/article/details/81539347
版权

在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也常常是随处可见。自己在学习的过程中也会常常搞混，于是决定将所有与熵有关的概念整理总结，方便查看和学习。

1. 信息

它是熵和信息增益的基础概念。引用香农的话，信息是用来消除随机不确定性的东西。如果一个带分类的事物集合可以划分为多个类别，则其中某个类（xi）的信息定义：

                                                               I(X=x_{i})=-log_{2}p(x_{i})

I(X)用来表示随机变量的信息，p(xi)指是当yi发生时的概率。

2. 信息熵

Shannon在信息论中指出，信息的不确定性可以用熵来表示。在信息论和概率论中熵是对随机变量不确定性的度量，熵其实就是信息的期望值。假设对于一个取有限个值的随机变量Y，其概率分布为：

                                                           P(X=x_{i})=p(x_{i})     i=1,2,3...n

那么随机变量Y的熵可以记作：

                                                          H(X)=\sum_{i=1}^{n}p(x_{i})I(x_{i})=-\sum_{i=1}^{n}p(x_{i})logp(x_{i})

熵只依赖X的分布，和X的取值没有关系。熵是用来度量不确定性，当熵越大，概率说 X=xi 的不确定性越大，反之越小。在机器学习中，熵越大即这个类别的不确定性更大，反之越小，当随机变量的取值为两个时，熵随概率的变化曲线如下图：

当p=0或p=1时，H(p)=0，随机变量完全没有不确定性。当p=0.5时，H(p)=1，此时随机变量的不确定性最大。

3. 条件熵

条件熵是用来解释信息增益而引入的概念。

概率定义：随机变量X在给定条件下随机变量Y的条件熵。即X给定条件下Y的条件概率分布的熵对X的数学期望。

在机器学习中为选定某个特征后的熵，公式如下：

              H(Y/X)=\sum_{i,j}p(x)H(Y/X=x_{i})=-\sum_{i,j}p(x_{i},y_{j})logp(y_{j}/x_{i})=-\sum_{i,j}p(y_{j}/x_{i})p(x_{i})logp(y_{j}/x_{i})

举一简单的例子，假设有数据集D，包含K个类别，每个数据样本中又含有M个特征属性，如果现在按照特征属性A将数据集D划分为两个独立的子数据集D1和D2，则此时整个数据集D的熵就是两个独立数据集D1的熵和数据集D2的熵的加权和，即：

                                          Entropy(D)=\frac{|D1|}{|D|}Entropy(D1)+\frac{|D2|}{|D|}Entropy(D2)

于是便有

                                        Entropy(D)=-\left ( \frac{|D1|}{|D|}\sum_{k=1}^{K} p_{k}log_{2}p_{k}+ \frac{|D2|}{|D|}\sum_{k=1}^{K} p_{k}log_{2}p_{k}\right )

其中，pk表示第k类的样本所占的比例，|D1|、|D2|分别表示数据集D1和D2中样本的个数。

因为此处的熵 Entropy（D）是在将所有样本按照其中一特征属性m划分为子样本集D1和D2的条件下计算出来的，因此又称之为条件熵。

4. 信息增益

在概率中定义为：待分类的集合的熵和选定某个特征的条件熵之差（这里只的是经验熵或经验条件熵，由于真正的熵并不知道，是根据样本计算出来的），公式如下：

                        IG(Y/X)=H(Y)-H(Y/X)=[-\sum_{j}p(y_{i})logp(y_{j})]-[-\sum_{i,j}p(y_{j}/x_{i})p(x_{i})logp(y_{j}/x_{i})]

此处仍然以条件熵中的例子来分析，对于给定的数据集，划分前后信息熵的变化量（其实是减少量，因为条件熵肯定小于之前的信息熵）称之为信息增益，即：

                                              igain(D,A)=[-\sum_{k=1}^{K}p_{k}log_{2}p_{k}]-\sum_{p=1}^{P}\frac{|D_{p}|}{|D|}Entropy(D_{p})

其中，|Dp|表示属于第p类的样本的个数。

信息熵表征的是数据集中的不纯度，信息熵越小表明数据集纯度越大。ID3决策树算法就是利用信息增益作为划分数据集的一种方法。信息增益在决策树算法中是用来选择特征的指标，信息增益越大，则这个特征的选择性越好。信息增益做特征选择的优缺点：

优点：

        1.信息增益考虑了特征出现与不出现的两种情况，比较全面，一般而言效果不错。
        2.使用了所有样例的统计属性，减小了对噪声的敏感度。
        3.容易理解，计算简单。

缺点：

      1.信息增益考察的是特征对整个系统的贡献，没有到具体的类别上，所以一般只能用来做全局的特征选择，而没法针对单个类别做特征选择。
      2.只能处理连续型的属性值，没法处理连续值的特征。
      3.算法天生偏向选择分支多的属性，容易导致overfitting。

5. 信息增益率

在信息增益提到，信息增益做特征选择的其中一个缺点就是：算法天生偏向选择分支多的属性导致overfitting。解决办法就是对分支过多的情况进行惩罚(penalty)，于是就有了信息增益率（信息增益比）。

特征X的熵：

                                                    H(X)=-\sum_{i=1}^{n}p(x_{i})logp(x_{i})

特征X的信息增益:

                                                   IG(X)=H(Y)-H(Y/X)

信息增益率为：

                                                   g_{r}=\frac{IG(X)}{H_{m}(X)}=\frac{H(Y)-H(Y/X)}{H_{m}(X)}

此处仍然以条件熵中的例子来分析，在机器学习中，信息增益率也是选择最优划分属性的一种方法，其定义：

                                                      gain_ratio(D,A)=\frac{igain(D,A)}{IV(A)}

其中，IV（A）被称为特征属性A的“固定值”，即：

                                                          IV(A)=-\sum_{p=1}^{P}\frac{|D_{p}|}{|D|}log_{2}\frac{|D_{p}|}{|D|}

其中，|Dp|表示属于第p类的样本的个数。在决策树算法中，ID3使用信息增益，而c4.5决策树算法使用就是信息增益率。

6. GINI指数

Gini指数是一种与信息熵类似的做特征选择的方式，可以用来表征数据的不纯度。在CART(Classification and Regression Tree)算法中利用基尼指数构造二叉决策树。Gini系数的计算方式如下：

                                                      Gini(D) = \sum_{i=1}^{n}p(x_{i})\cdot [1-p(x_{i})]=1-\sum_{i=1}^{n}p(x_{i})^{2}

其中，D表示数据集全体样本，p(xi)表示每种类别出现的概率。

取个极端情况，如果数据集中所有的样本都为同一类，那么有p0=1，Gini(D)=0，显然此时数据的不纯度最低。与信息增益类似，我们可以计算如下表达式：

                                                           \bigtriangleup Gini(X)=Gini(D)-Gini_{X}(D)

上式表示，加入特征X以后，数据不纯度减小的程度。很明显，在做特征选择的时候，我们可以取ΔGini(X)最大的那个。

此处仍然以条件熵中的例子来分析，以特征属性A将数据集D划分为独立的两个数据集D1和D2，则此时基尼指数为：

                                                   Gini(D,A)=\frac{|D1|}{|D|}Gini(D1)+\frac{|D2|}{|D|}Gini(D2)

在机器学习中，CART决策树算法就是利用GINI指数作为划分数据集的标准。

7. 交叉熵

假设现有样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的熵，即基于分布p给样本进行编码的最短平均编码长度为：

                                                               H(X)=-\sum_{i=1}^{n}p(x_{i})logp(x_{i})

如果使用非真实分布q来给样本进行编码，则是基于分布q的信息量的期望（最短平均编码长度），由于用q来编码的样本来自分布p，所以期望与真实分布一致。所以基于分布q的最短平均编码长度为：

                                                           CEH(p,q)=-\sum_{i=1}^{n}p(x_{i})log q(x_{i})

上式CEH(p, q)即为交叉熵的定义。

8. 相对熵

将由q得到的平均编码长度比由p得到的平均编码长度多出的bit数，即使用非真实分布q计算出的样本的熵(交叉熵)，与使用真实分布p计算出的样本的熵的差值，称为相对熵，又称KL散度。

                                                  KL(p,q)=CEH(p,q)-H(p) =\sum_{i=1}^{n}p(x_{i})log\frac{p(x_{i})}{q(x_{i})}

相对熵（KL散度）用于衡量两个概率分布p和q的差异。注意，KL(p, q)意味着将分布p作为真实分布，q作为非真实分布，因此：

                                                                           KL(p,q)\neq KL(q,p)

参考资料：

http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool

https://blog.csdn.net/xbmatrix/article/details/56691137

https://blog.csdn.net/bitcarmanlee/article/details/51488204

https://www.cnblogs.com/muzixi/p/6566803.html

 

埃尘万象
关注
专栏目录
[机器学习]信息&熵&信息增益
weixin_30578677的博客
06-16 941
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。 1、信息 这个是熵和信息增益的基础概念，我觉得对于这个概念的理解更应该把他认为...
信息、熵、信息增益
YiBochun-Blog
10-02 413
信息、熵、信息增益是在决策树中用到的概念，在利用特征进行分类时，会考虑特征选取的顺序。 1. 信息 香农： 信息是用来消除随机不确定性的东西。 如果带分类的事物集合可以划分为多个类别中，则某个类xix_ixi​的信息定义如下： I(X=xi)=−log2p(xi)I(X=x_i)=-log_2 p (x_i)I(X=xi​)=−log2​p(xi​) I(X)I(X)I(X)表示随机变量的信息...
信息熵与Gini不纯度
Chain
12-01 1688
http://blog.csdn.net/shisibushiba/article/details/508030921、信息熵 信息论中的信息量和信息熵。 信息量： 信息量是对信息的度量，就跟温度的度量是摄氏度一样，信息的大小跟随机事件的概率有关。 例如： 在哈尔滨的冬天，一条消息说：哈尔滨明天温度30摄氏度，这个事件肯定会引起轰动，因为它发生的概率很小（信息量大）。日过是夏天，“明天温度3
条件熵和信息熵
最新发布
欢迎来到我的博客
07-24 816
设随机变量XYXY是空间X×YX×Y中的一对随机变量。若他们的联合分布是pxypxy，边缘分布分别是pxpx和和和pypyIX;YDKL​pxy∥px⊗py))其中，DKLDKL​为KL散度(Kullback–Leibler divergence)。注意，根据KL散度的性质，若联合分布pxyp(x,y)pxy等于边缘分布pxp(x)
信息熵、条件熵、信息增益率
weixin_67463124的博客
04-14 3361
信息熵、条件熵、信息增益率直观讲解
熵与信息增益
热门推荐
时光杂货店
10-19 2万+
熵与信息增益在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑1 信息量信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设X是一个离散型随机变量，其取值集合为XX，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(x_0)
熵，条件熵，信息增益，信息增益比, gini系数 以及 交叉熵，相对熵 计算公式
weixin_38502514的博客
12-23 1914
熵，信息增益和gini系数 熵越大，不确定性越大 熵：H(X)=E[−logpk]=−∑kpklog⁡pkH(X)=E[-log{p_k}]=-\sum_k{p_k \log{p_k}}H(X)=E[−logpk​]=−∑k​pk​logpk​ 信息增益，就是给定条件前的熵减去给定条件后的熵，看熵减少多少 条件熵： H(X∣Y)=∑yp(y)H(X∣Y=y)H(X|Y)=\sum_y{p(y) H(X|Y=y)}H(X∣Y)=∑y​p(y)H(X∣Y=y) 信息增益： g(X,Y)=H(X)−H(X∣
信息增益，信息增益率，信息熵，互信息，交叉熵，条件熵，gini系数
AmorFati的博客
08-21 2231
信息熵 信息增益 Gain（A）=I(A) -H(A) 信息增益的理解： 对于待划分的数据集D，其 entroy(前)是一定的，但是划分之后的熵 entroy(后)是不定的，entroy(后)越小说明使用此特征划分得到的子集的不确定性越小（也就是纯度越高），因此 entroy(前) - entroy(后)差异越大，说明使用当前特征划分数据集D的话，其纯度上升的更快。而我们在构建最优的决策树的...
信息、信息熵、条件熵、信息增益、信息增益比、基尼系数、相对熵、交叉熵
xbmatrix的博客
02-23 1万+
原文：http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool 关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释
决策树，条件熵，相对熵，互信息
m0_46519036的博客
07-31 780
决策树：决策树最大的好处就是训练速度快 从n个特征中选择一个来分成若干份。如果是离散的，就分成若干份，如果是连续的，就取某一个值作为阈值分类，那么现在的问题转化成为我们要选取哪一个特征来分类。因为有不同的标准，所以有了ID3，C4.5，CART这三种决策树。 假如现在有一个数据集，分别是红色的圆点和绿色的圆点，红色有70个，绿色有65个，把他们放到一起，随机抓取一个，它的颜色是红色还是绿色？我们可以算它的概率。红色概率有70/135，绿色概率为65/135。那我们可以预测是红色的，即使概率很接近百分之50
java评分模型_评分卡模型剖析之一（woe、IV、ROC、信息熵）
weixin_42514736的博客
02-25 655
信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户；则WOE(weight of Evidence)其实就是自变量取某个值...
决策树①——信息熵&信息增益&基尼系数
机器学习初学者必看，关注我，一起了解机器学习
08-22 2272
本文主要是通过大白话，解释何为 信息，信息熵，信息增益，信息增益率，基尼系数 一、信息 能消除不确定性的内容才能叫信息，而告诉你一个想都不用想的事实，那不叫信息。 比如数据分析师的工作经常是要用数据中发现信息，有一天上班你告诉老大从数据中发现我们的用户性别有男有女。。。（这不废话吗？）这不叫信息，但是如果你告诉老大女性用户的登录频次、加购率，浏览商品数量远高于男性，且年龄段在25岁~30岁的女性用...
熵和信息
CSDN_SUSAN的博客
01-01 826
文章目录0. 序言1. 熵（entropy）的定义1.1 描述1.2 定义2. 信息的定义2.1 描述2.2 定义3. 概率的定义4. 算一算4.1 对人计算4.2 对事计算5. 参考文献 0. 序言   在学习决策树的时候，决策树的分裂特征选择使用的启发函数，用到了熵这个概念。单纯的记忆公式只能知其然，而为了进一步探究决策树为什么用熵这个概念去评估选择分裂特征，则需要从熵的根本定义开始。 1. ...
信息熵、条件熵、信息增益
SmartDemo的博客
06-25 2387
其中：：样本属于第i个类别的概率：总样本数：集合中属于第个类别的样本个数。
信息熵，条件熵，信息增益与信息增益比
LookayKwok的专栏
08-04 621
1. 信息熵 熵表示随机变量不确定性的度量。设  是一个取有限值的离散随机变量，其概率分布为                                                                          那么随机变量  的信息熵为                                                               ...
plot()函数连点成曲线举例--信息熵曲线的实现(python代码）
weixin_45914452的博客
12-14 1616
plot()函数连点成曲线举例–信息熵曲线的实现(python代码） 机器学习中经常需要使用plot()函数来可视化数据的状态，"连点成线"能更生动地体现数据与函数曲线，或回归曲线之间的关系。以下代码是用于信息熵曲线的实现展示。 # 信息熵曲线 import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt mpl.rcParams["font.family"] = "SimHei" p = np.linspace(
【机器学习】信息量、香农熵、信息增益（增加例子，方便理解）
qq_25218219的博客
05-07 2681
这个公式的物理意义是，当事件 i 发生的概率越小时，其所包含的信息量就越大。例如，在一组有 8 个等概率的符号中选出一个符号，它所包含的信息量为。在信息论中，香农熵通常被定义为一个系统中所有可能事件的信息量的期望值。但是，突然某一天有人告诉你，今天太阳是从西边出来的，那么这条信息的信息量就。不完全正确，虽然在一些情况下，信息量可以通过一个事件发生的概率来表示，但是。是不是可以简单的将系统中的所有事件的信息量加和大小作为整个系统的香农熵值？事件i发生的概率）就可以量化的表示信息的信息量了。
熵（Entropy）、信息熵增益、信息熵增率和基尼（Gini）指数
小肥柴YD的博客
07-20 7834
本篇主要介绍在构造决策树的过程中利用熵、信息增益、信息熵增率、Gini指数来衡量样本属性，选择结点的几种方法
AI基础：信息熵、信息增益、信息增益率、基尼指数
maoyuanming0806的博客
09-08 3082
给实习生聊到决策树、GBDT，有几个概念这里再用易懂的方式解释下 文章目录信息熵条件熵信息增益信息增益率基尼指数 信息熵是决策树的基础 信息增益-ID3算法构建决策树 信息增益率-C4.5算法构建决策树 基尼指数-Cart算法构建决策树 信息熵 用另外一个词来说就是纯度，一个盒子里只有白球，说明这个盒子很纯，纯度很高。一个集合里只有一类样本，比如表示男女的样本集合U={男，男，…}都是男的，那么就说这个集合纯度很高。 纯度相对于信息熵呢？首先熵，是热力学的概念，表示体系混乱度.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值