决策树中熵的理解

决策树是用于分类的统计模型。

熵的概念

熵是来衡量随机变量的不确定性的。Shannon entropy来定量化了这种不确定性。
有以下公式

$$H(x)=\sum_{i}P(x_i)I(x_i)=-\sum_{i}P(x_i)log_bP(x_i)$$

接下来通过例子来说明。
比如投硬币，正面和反面的概率都是1/2，在这种情况下，一个比特就可以来传递每一次的结果。投了4次硬币，2次正面，2次反面。根据香农公式那么熵就为E1=-1/2log2(1/2)-1/2log2(1/2)=1
同理如果每次都是证明的话，那么熵为0.

接下来来理解一下比特（bits）的概念
考虑三种可能结果的情况，正，负，中三种结果。其中正的结果2次，负的结果1次，中的结果1次。根据公式熵为1.5.

信息增益

信息增益是用来选取属性的。被选择的分类属性，信息增益是最高的。
信息增益的方法会偏向于选择将样本分为多类的属性，而这个属性对于机器学习可能是没有意义的。
因此用信息增益的方式来选取特征。
比如对于特征A的信息增益有以下公式

$$Gain(A)=Info(D)-Info_A(D)$$
where

Inf