【机器学习系列之六】决策树中的特征选择及树的剪枝

决策树的学习主要包含三个方面，分别是特征选择，决策树生成，和决策树的剪枝。我们首先介绍一下决策树是怎么分类的，然后详细介绍一下决策树的学习过程。

1. 决策树的分类（决策树也可以用于回归）

决策树是一种常用算法，很多集成算法的底层就是决策树，比如GBDT，XGBoost,因此了解决策树是如何分类的就变得尤为重要了。

决策问题一般的判定为“是”或者”不是”，这是简单的二分类问题。比如，老板让你去买一个西瓜，你怎么知道这个是好瓜，或不是好瓜。

因此，你就有了一些判定标准，比如，根据瓜的外观，可以看一下它的色泽是怎么样的，根蒂是什么样的，根据瓜的内里，可以看一下它的敲声是怎么样的。这里的色泽，根蒂，敲声是判定一个瓜是好瓜的标准，我们称它为此次决策的特征。如果他是好瓜，那它的决策树应该是这样的。如图：

决策树学习的目的就是找到一颗泛化能力强的树，所谓的泛化能力强，就是在新数据上的分类效果与训练数据上的分类效果相差不大。而决策树的思想是“分而治之”。

它的学习过程是这样的，先找到一个最优特征，根据这个最优特征对数据进行分割，比如前面西瓜的例子，如果选择色泽作为最优特征，假设色泽分为青绿色和黄色，青绿色是好瓜，黄色不是好瓜，那么第一次分类，算法就会把数据分割成两个部分，分别是青绿色的瓜和黄色的瓜。但是仅仅一个特征并没有把数据完美的进行分类，因此就需要第二个最优特征对数据进行再划分，以此类推，直到所有的训练数据子集都被基本分类正确之后，就生成了一个决策树。

2. 特征选择

信息熵

决策树学习的第一大问题是：怎么找到这样的最优划分特征呢？如何来衡量最优？

什么是最优特征，通俗的理解是对训练数据具有很强的分类能力的特征，比如要看一个男明星和一个女明星是否会在一起，他们的年龄差这个特征就远比他们的出生地重要，因为年龄差能更好得对 明星是否会在一起 这个分类问题具有更强的分类能力。

但是计算机并不知道哪些特征是最优的，因此，就要找一个衡量特征是不是最优的指标，使得决策树在每一个分支上的数据尽可能属于同一类别的数据，即样本纯度最高。

我们用熵来衡量样本集合的纯度。

这是概率统计与信息论中的一个概念，定义为：

$$H(X) = - \sum \limits_{i=0}^n p_i log_2 p_i$$ ,其中 $p(x)=p_i$表示随机变量X发生概率。

我们可以从两个角度理解这个概念。

第一就是不确定度的一个度量，我们的目标是为了找到一颗树，使得每个分枝上都代表一个分类，也就是说我们希望这个分枝上的不确定性最小，即确定性最大，也就是这些数据都是同一个类别的。熵越小，代表这些数据是同一类别的越多。

第二个角度就是从纯度理解。因为熵是不确定度的度量，如果他们不确定度越小，意味着这个群体的差异很小，也就是它的纯度很高。比如，一个高级商业聚会，来的人大多是商业精英，乞丐就会很少，如果新来了一个人，他是精英的确定性就很大，不确定性就很小，同时这个群体的纯度很大。总结来说就是熵越小，纯度越大，而我们希望的就是纯度越大越好。

信息增益

我们用信息熵来衡量一个分支的纯度，那哪个特征是最优的特征呢？

在决策树学习中应用信息增益准则来选择最优特征。信息增益定义如下:

$$g(D,A) = H(D) - H(D|A)$$ ,表示特征A对训练数据集D的信息增益 $g(D,A)$ 等于D的不确定度 $H（D）$ 减去给定条件A下D的不确定度 $H（D|A）$，可以理解为由于特征A使得对数据集D的分类的不确定性减少的程度,信息增益大的特征具有更强的分类能力。

具体计算如下：

如图所示：

从这17个西瓜中任选一个，是好瓜,坏瓜的概率分别是$P1 = 8/17，p2 = 9/17$,这17个样本用D表示，它的信息熵为

$$H(D) = - P(好瓜)log_2(P(好瓜)) - P(坏瓜) log_2(P(坏瓜)) = 0.988$$ 接着计算一个特征的信息熵，以色泽为例：

H(D|色泽=青绿)=−P(是好瓜且色泽为青绿)log2(P(是