信息增益和信息增益比

要理解这两个概念，首先要分清楚三个定义：
数据集经验熵
特征对数据集的经验条件熵
数据集对特征值的熵

符号

$$\begin{gathered} A:特征 \\ D:训练样本 \\ |D|:样本容量 \\ {D}_i:根据每个特征A的特征值，把样本D划分的第i个划分训练样本 \\ |D_i|:第i个划分样本容量 \\ label:样本标签列 \\ {C}_k:样本标签是第k类，相当于通过标签列，把D做了K个划分 \\ |C_k|：第k类的样本个数 \\ {D}_{ik}=D_i\cap C_k \end{gathered}$$

几个概念

数据集经验熵

$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$$
这里的 $H(D)$ 可以认为是按照 $label$ 划分的熵 $H_{label}(D)$

特征对数据集的经验条件熵

$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)$$
其中$H(D_i)$是按照特征$A$划分之后的样本集，再按照$label$进行划分的经验熵。那么：
$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=\sum _{i=1}^n\frac{|D_i|}{|D|}\ast （-\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}）$$

数据集对特征值的熵

$$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}$$

为什么要用信息增益比

信息增益：$g(D,A)=H(D)-H(D|A)$
信息增益比：$$\begin{gathered} g_R(D,A)=\frac{g(D,A)}{H_A(D)} \\ =\frac{-{\sum }_{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}-{\sum }_{i=1}^n\frac{|D_i|}{|D|}\ast (-{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|})}{-{\sum }_{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}} \end{gathered}$$

我们来假设一种情况，当特征$A$是连续型变量时，每一个值，都对应一个类别。
那么$|D_{ik}|=|D_i|$，导致$H(D|A)=0$，因为信息熵是大于零的，所以此时选择特征$A$得到的信息熵最大$g(D,A)=H(D)-H(D|A)=H(D)-0=H(D)$，与此同时$H_A(D)$会变得非常大。

从直觉上讲，如果特征连续，导致每个结点都只包含一种类别，确实把确定性调到了最大。但是，由于从上层结点引入了过多的分支，反而在整个系统中引入了不确定性。

所以，信息增益比，是对这种额外引入的不确定性的而一种校准。

参考

《统计学习方法》李航
https://www.zhihu.com/question/22928442