信息论

1、信息熵

信息熵是度量样本集合纯度最常用的一种指标。假设样本集合D中第$k$个类所占的比例为$p_k$，一共有$K$个类，则D的信息熵定义为

$$Ent(D)=-\sum_{k=1}^{K}p_klog_2p_k \tag{1}$$
信息熵Ent(D)的值越小，则D的纯度越高，即集合D中几乎全部是某个类别，其他类别几乎为0.
观察公式(1)，可知$p_k \in[0,1]$,所以$log_2p_k$最大值为0，且单调递增，而公式(1)右边有负号，所以$Ent(D)$最小值是0，且单调递增。实际上，当所有$p_k$都取相等值的时候，$Ent(D)$取得最大值，此时集合D中的纯度是最低的，即所有类别的个数均等。
假设样本只有2个类别，其中正样本所占的比例$p_1=\frac{8}{17}$，负样本所占的比例为$p_2=\frac{9}{17}$，根据公式(1)有

$$Ent(D)=-\sum_{k=1}^{2}p_klog_2p_k =-(\frac{8}{17}log_2\frac{8}{17}+\frac{9}{17}log_2\frac{9}{17})=0.998$$

2、信息增益

假设数据的属性（即特征，且特征的取值是离散的值）a有V个可能的取值$\{a^1,...,a^V\}$，每个特征a取值为v的样本集合记为$D^v$，那么可以将集合D划分为v的子集$\{D^1,..,D^V\}$，信息增益（特征a对于样本集合D进行划分获得的信息增益）定义如下:

$$Gain(D,a)=Ent(D)-\sum_{v=1}^{V}\frac{|D^v|}{|D|}Ent(D^v) \tag{3}$$
如公式(3)所示， $Ent(D^v)$的值越小，代表特征在取值为 $v_1$的时候，对各个样本而言，其纯度越大，即某个类别占有很高的比例，这意味着 $v_1$对该特征取值的时候对数据具有较高的区分度，所以应该选择 $Ent(D^{v_1})$较小的结果，同理我们也希望取值为 $v_2，v_3,...$时候也是如此，公式(2)表明加权后的结果，即最终 $Gain(D,a)$的属性作为划分数据的依据，这实际上就是 ID3决策树学习算法（以信息增益为准则划分属性）
假设特征a为”色泽”特征，取值有3种 $\{青绿，乌黑，浅白\}$，对该特征划分分别是 $\{D^1，D^2，D^3\}$，子集 $D^1=\{1,4,6,10,13,17\}$共6个样本，其中正样本所占的比例 $p_1=\frac{3}{6}$，负样本所占的比例为 $p_2=\frac{3}{6}$，子集 $D^2=\{2,3,7,8,9,15\}$共6个样本，其中正样本所占的比例 $p_1=\frac{4}{6}$，负样本所占的比例为 $p_2=\frac{2}{6}$，子集 $D^3=\{5，11，12，14，16\}$共5个样本，其中正样本所占的比例 $p_1=\frac{1}{5}$，负样本所占的比例为 $p_2=\frac{4}{5}$，而 $|D|=17$,一共有17个样本。代入公式(2)可得
$$Ent(D^1)=-(\frac{3}{6}log_2\frac{3}{6}+\frac{3}{6}log_2\frac{3}{6})=1.00$$
同理可得 $Ent(D^2)=0.918，Ent(D^3)=0.722$
所以，根据特征a划分得到的信息增益为
$$Gain(D,a)=Ent(D)-\sum_{v=1}^{3}\frac{|D^v|}{|D|}Ent(D^v) \tag{2}=0.998-(\frac{6}{17}*1.000+\frac{6}{17}*0.918+\frac{5}{17}*0.722)=0.109$$
假设样本集合D还有其他特征，则依次计算所有特征的信息增益，选择信息增益最大特征作为树的划分结果，决策树的构建则是依次递归直到划分所有的属性，完成树的构建。（即把 $|D^v|$当成|D|下一个未划分的属性继续成为 $|D^v|$）