决策树划分与剪枝

1、决策树划分选择

决策树学习的关键——如何选择最优划分属性。我们所期望的是，随着划分过程的不断进行，希望决策树的分支结点所包含的的样本尽可能属于同一类别，即结点的“纯度”要尽可能的高。

1.1 信息增益

要说信息增益，我们先来了解一下信息熵。

“信息熵“是度量样本集合纯度最常用的一种指标。假设当前样本集合D中第k类样本所占的比例为，

则D的信息熵定义为：

                                   

 

的值越小，则D的纯的越高。

假定离散属性a有V个可能的取值，若使用a来对样本集D进行划分，则会产生V个分支结点，其中第v个分支节点包含了D中所有在属性a上取值为的样本，记为，考虑到不同的分支结点所包含的样本数不同，给分支结点赋予权重，即样本数越多的分支节点的影响越大，于是用属性a对样本集D进行划分所获得的“信息增益”为

                               

一般而言，信息增益越大，意味着使用a来进行划分所获得的”纯度提升”越大，因此，我们可以用信息增益来进行决策树的划分属性选择，ID3决策树算法就是以信息增益为准则来选择划分属性。

例子：机器学习P76

1.2 信息增益率

实际上，信息增益准则对可取值数目较多的属性有所偏好（例如“编号”，每个分支仅包含一个样本，这些分支节点的纯度已达到最大，然而这样的决策树没有意义，不具有泛化能力，无法对新样本进行有效预测），所以为了减少这种偏好可能带来的不利影响，我们不再依据信息增益来选择最优划分属性，而是选择信息增益率。

信息增益率定义为：

                                     

其中                             

                                                称为属性a的“固有值”，属性a的可能取值数目越多（即