决策树的特征选择之1：香农熵、基尼指数、误分类误差

特征选择是决策树学习的重要内容，本文讨论的特征指标是香农熵、基尼指数和误分类误差。

不纯度度量

决策树学习的关键在如何选择最优划分属性。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别， 即结点的 “纯度”（purity）越来越高。在分类树中，划分的优劣用不纯度度量（impurity-measure）定量分析。
对于结点m，令N_m为到达结点m的训练实例数，对于根结点，N_m为N。N_m个实例中有N_mⁱ个属于C_i类，而$\sum$N_mⁱ=N_m. 当一个实例到达了结点m则它属于C_i类的概率估计为：

熵函数（香农熵）

在二分类问题中，如果对于所有的i，p_mⁱ为0或1：当到达结点m时，所有实例都不属于C_i类，则p_mⁱ为0。反之，如果所有实例都属于C_i类，则p_mⁱ为1。如果此时划分是纯的，则我们不需要再进一步划分，并可以添加一个叶结点，用p_mⁱ为1的类标记。
我们可以将任意结点的类分布记作（p₀,p₁），其中p₁=1-p₀。选择最佳划分的度量通常是根据划分后叶结点不纯性的程度。不纯度越低，类分布就越倾斜。例如，类分布为(0,1)的结点具有零不纯性，而均衡分布的(0.5,0.5)的结点具有最高的不纯性。一种度量不纯性的函数是熵函数（entropy）：

若p=0,则

在信息论与概率统计中，熵是表示随机变量不确定性的度量。这里我们使用的熵，也叫作香农熵，这个名字来源于信息论之父 克劳德·香农。
为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值（数学期望），即上述公式。对于二分类问题，如果p¹=1而p²=0，则所有的实例都属于C_i类，熵为0。如果p¹=p²=0.5，熵为1。

但是，熵并非是唯一可能的度量。对于二分类问题，其中 p¹=p,p²=1-p，函数$\varphi$(p,1-p)是非负函数，度量划分的不纯度，如果满足如下性质：
对于任意 p$\in$