【机器学习课程-华盛顿大学】:3 分类 3.4 决策树过拟合

1、过拟合曲线

逻辑回归过拟合

 

决策树的过拟合曲线

2、停止训练的条件

 

(1)节点的所有数据的输出y一致

(2)没有特征继续用来分割了

 

3、选择更简单的树

“Among competing hypotheses, the one with fewest assumptions should be selected”

-----------------------------William of Occam, 13th Century 

 

将理论应用到决策树:

选择Moderate决策树,虽然训练误差比Complex大,但是验证误差一样,同时复杂度更低。

 

4、获取简单树的方法

4.1 early stopping早停法

(1)限制树的深度

 

(2)分类误差不再减小

 

(3)如果节点数据点太少,则停止

 

4.2 pruning剪枝

早停是防止决策树太复杂,剪枝是训练了复杂的树后进行简化。剪枝是早停的完善。

(1)先计算整棵树的代价C(T)

(2)选择一个分支,作为候选剪枝分支。计算剪掉这个分支后的代价C(T)。

如果剪枝后,C(T)更小,则将该分支剪去。

(3)继续看其他分支,计算减去后的C(T),并比较前后的C(T)。剪去后的更小,则剪去;否则保留。

 

5、early stopping早停的几个挑战

(1)限制树的深度:很难知道max_depth

(2)分类误差不再减少:如果本次没有减少,但如果继续分,下次分类误差会减少,则会错过更优分类

 

6、怎么定义树更简单?

根据叶子节点个数,越多越复杂

树越复杂,越可能有过拟合的风险。越简单,错误率越高。

因此,需要在拟合度和复杂度之间有个平衡。

 

7、决策树的代价函数cost

 

 

 

8、测试

剪枝和早停是用来对抗:过拟合

 

早停的3个方法:限制深度、节点数据太少、所有的分割方法对误差减少改善很少,甚至没有(并不是分割方法的误差减少是否一致)

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页