信息熵、信息增益、信息增益比

信息熵

“信息熵”是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为pk(k=1,2,…,|y|),则D的信息熵定义为:
在这里插入图片描述
Ent(D)的值越小,则D的纯度越高。

如果上面的解释不容易理解,那么下面再通俗地解释一下:
首先来看一下信息熵这个公式在数轴上的表示:
在这里插入图片描述
可以看到,在概率为0.5的时候,信息熵是最大的,为1。
我们可以把信息熵理解为“不确定性”,当概率为0.5时,比如抛硬币,出现正反两面的概率都是0.5,所以这个事件的不确定性是最大的;当一个事件发生的概率为0或1的时候,那这个事件就是必然事件了,不确定性为0,所以信息熵最低,为0。

信息增益

假定离散属性a有V个可能的取值{a1,a2,a3,…,aV},若使用a来对样本集D进行划分,则会产生V个分支结点,其中第v个分支结点包含了D中所有在属性a上取值为av的样本,记为Dv。我们可根据信息熵的式子计算出Dv的信息熵,再考虑到不同的分支结点所包含的样本数不同,给分支结点赋予权重|Dv|/|D|,即样本数越多的分支结点的影响越大,于是可计算出用属性a对样本集D进行划分所获得的“信息增益”:
在这里插入图片描述
下面来看一个简单的数据集:
在这里插入图片描述
该数据集包含17个训练样例,显然|y|=2,即“好瓜”和“非好瓜”。
正例占p1=8/17,反例占p2=9/17。于是可计算出根结点的信息熵为:
在这里插入图片描述
然后,我们要计算出当前属性集合{色泽,根蒂,敲声,纹理,脐部,触感}中每个属性的信息增益。以属性“色泽”为例,它有3个可能的取值。若使用该属性对D进行划分,则可得到3个子集,分别记为D1(色泽=青绿),有6个样本;D2(色泽=乌黑),有6个样本;D3(色泽=浅白),有5个样本。
则这3个分支结点的信息熵分别为:在这里插入图片描述
于是可计算出属性“色泽“的信息增益为:
在这里插入图片描述
同理,我们可计算出其他属性的信息增益:
在这里插入图片描述
显然,“纹理”的信息增益最大。
这表示什么呢,通俗地讲,就是“纹理”这个属性是最能让我们买到好瓜的一个参照点。

信息增益比

在上面的介绍中,我们有意忽略了“编号”这一列,若把“编号”也作为一个候选划分属性,则可计算出它的信息增益为0.998,远大于其他候选划分属性。这很容易理解:
“编号”将产生17个分支,每个分支结点仅包含一个样本,这些分支结点的纯度已达最大,即分支结点的信息熵为0。
所以不难得出,信息增益准则对可取值数目较多的属性有所偏好,为减少这种偏好可能带来的不利影响,推出“信息增益比”来选择最优划分属性。

信息增益比的定义为:
在这里插入图片描述
其中
在这里插入图片描述
称为属性a的“固有值”。属性a的可能取值数目越多(即V越大),则IV(a)的值通常会越大。通过这种方式,来对可取值数目较多的属性作出惩罚。例如,对该西瓜数据集,有:
IV(触感)=0.874 (V=2),
IV(色泽)=1.580 (V=3),
IV(编号)=4.088 (V=17)。

  • 9
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值