划分选择

        决策树学习的关键在于选择最优划分属性。随着划分的进行，我们希望每个结点包含的样本尽可能属于同一类别，我们称之为“纯度”，越高越好。

• 信息增益

我们定义信息熵的概念。

对于一个离散属性a,若它有V个可能的取值，我们对样本集进行划分的时候将会产生V个结点。根据包含的样本数的不同，我们给予每个样本一个权重。这样可得出使用属性a对样本D进行划分所获得的”信息增益“。

 

• 增益率

信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，著名的 C4.5 决策树算法 [Quinlan 1993J 不直接使用信息增益，而是使用"增益率" (gain ratio) 来选择最优划分属性。增益率定义为

增益率准则对可取值数目较少的属性有所偏好。因此 C4.5 算法并不是直接选择增益率最大的候选划分属性，而是使用了一个启发式：

先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

 

• 基尼指数

CART决策树使用“基尼指数”选择划分属性。