【笔记】决策树

根据子树划分属性的选择的方法不同，可以分为不同的决策树算法

1. ID3

使用 信息增益 来选择最优的划分属性， 选择信息增益最大的属性进行划分。

• 信息熵 = - p * log(p)

• a属性的信息增益 = 划分前信息熵 - a属性划分后的信息熵

2. C4.5

使用 信息增益率 来选择最优划分属性，因为 ID3中信息增益是对 属性取值数目多的属性有偏好，需要减少这种偏好带来的影响。

• 信息增益率 = a属性的信息增益 / a属性的固有值

• a属性的固有值 与a属性的可能取值数目相关，数目越大，固有值越大。

• 因为 C4.5 对属性取值数目少的属性有偏好，因此，需要结合 ID3 和 C4.5 一起划分，先从候选属性集中找出信息增益高于平均水平的属性，再从中选择信息增益率最高的属性。

3. CART 分类回归树

使用 基尼指数 来选择最优的划分属性，基尼指数 表示了数据集的纯度，反映了从数据集中 随机抽取两个样本，其类别标记不一致的概率。

4. 剪枝

• 预剪枝

  • 在决策树生成的过程中对结点进行估计，如果当前结点的划分不能带来决策树泛化性能的提升，则停止划分并将当前结点作为叶子结点。

  • 优点：减低了过拟合的风险，减少了决策树的训练时间。

  • 缺点：预剪枝是贪心策略，存在欠拟合的风险。
    

• 后剪枝

  • 先训练生成一棵完整的决策树，然后从底向上对非叶子结点进行考察，若当前结点的子树替换为叶子结点能带来决策树泛化能力的提升，则将该子树替换成叶子结点。

  • 优点：欠拟合的风险很小，泛化能力优于预剪枝。

  • 缺点：训练时间开销很大。
    

5. 连续值处理（二分法处理）

6. 缺失值处理