【机器学习课程-华盛顿大学】：3 分类 3.4 决策树过拟合

1、过拟合曲线

逻辑回归过拟合

 

决策树的过拟合曲线

2、停止训练的条件

 

（1）节点的所有数据的输出y一致

（2）没有特征继续用来分割了

 

3、选择更简单的树

“Among competing hypotheses, the one with fewest assumptions should be selected”

-----------------------------William of Occam, 13th Century 

 

将理论应用到决策树：

选择Moderate决策树，虽然训练误差比Complex大，但是验证误差一样，同时复杂度更低。

 

4、获取简单树的方法

4.1 early stopping早停法

（1）限制树的深度

 

（2）分类误差不再减小

 

（3）如果节点数据点太少，则停止

 

4.2 pruning剪枝

早停是防止决策树太复杂，剪枝是训练了复杂的树后进行简化。剪枝是早停的完善。

（1）先计算整棵树的代价C(T)

(2)选择一个分支，作为候选剪枝分支。计算剪掉这个分支后的代价C(T)。

如果剪枝后，C(T)更小，则将该分支剪去。

（3）继续看其他分支，计算减去后的C(T)，并比较前后的C(T)。剪去后的更小，则剪去；否则保留。

 

5、early stopping早停的几个挑战

（1）限制树的深度：很难知道max_depth

（2）分类误差不再减少：如果本次没有减少，但如果继续分，下次分类误差会减少，则会错过更优分类

 

6、怎么定义树更简单？

根据叶子节点个数，越多越复杂

树越复杂，越可能有过拟合的风险。越简单，错误率越高。

因此，需要在拟合度和复杂度之间有个平衡。

 

7、决策树的代价函数cost

 

 

 

8、测试

剪枝和早停是用来对抗：过拟合

 

早停的3个方法：限制深度、节点数据太少、所有的分割方法对误差减少改善很少，甚至没有（并不是分割方法的误差减少是否一致）