《西瓜书》决策树部分公式推导

1、公式4.1注解
熵是度量样本集合纯度最常用的一种指标，代表一个系统中蕴含多少信息量，信息量越大表明一个系统不确定性就越大，就存在越多的可能性。
假定当前样本集合D中第$k$类样本所占的比例为$p_k(k=1,2,...,|y|)$，则$D$的信息熵为：
$Ent(D)=-{\sum }_{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k$
其中，当样本$D$中$|y|$类样本均匀分布时，这时信息熵最大，其值为
$Ent(D)=-{\sum }_{k=1}^{|y|}\frac{1}{|y|}lo{g}_2\frac{1}{|y|}={\sum }_{k=1}^{|y|}\frac{1}{|y|}lo{g}_2|y|=lo{g}_2|y|$
此时样本D的纯度越小；
相反，假设样本$D$中只有一类样本，此时信息熵最小，其值为
E n