机器学习笔记（XII）决策树(II)剪枝处理

剪枝(pruning)

目的

剪枝操作是决策树学习算法对付“过拟合”的主要手段。

因为有时候决策树的分支过多，导致训练集合把自身的一些特点当作所有数据都具有的一般性质而导致过拟合。因此主动剪掉一些分支来降低过拟合的风险。

预剪枝(prepruning)

具体做法

指的是在决策树的生成过程中，对每个结点在划分前进行估计，如果当前结点的划分不能带来决策树泛化性能的提升，则停止划分当前结点并且标记为叶子节点。

优缺点

优点

预剪枝使得决策树的很多分支都没有展开，这不仅降低了过拟合的风险而且显著减少了决策树的训练时间开销和测试时间开销。

缺点

有些分支的划分虽然当前并不能提高泛化性能，甚至有时会导致泛化性能的下降，但是在其基础上进行的后续划分却有可能导致泛化性能的提高，而预剪枝则抹杀了这种可能性。
预剪枝是基于“贪心”本质禁止分支展开，因此有可能导致欠拟合。

后剪枝(postpruning)

具体做法

先从训练集合中生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若能将该结点对应的子树替换为叶子结点可以带来决策树泛化性能的提升，则将子树替换为叶子结点。

优缺点

优点

欠拟合风险小，泛化性能往往优于预剪枝决策树

缺点

在完全生成决策树之后进行，并且要自底向上地对树中所有非叶子结点逐一进行考察，因此其训练时间开销比未剪枝决策树和预剪枝决策树大得多

泛化性能的判断

如何判断泛化性能是否提升？
做法：可以采用留出法，保留一部分的数据作为“验证集”以进行性能评估。
此时一共有两个部分的集合:训练集$S$，验证集$T$
使用训练集$S$，生成一棵决策树。
泛化性能就是指使用验证集$T$是对样例预判的正确率。正确率越高，泛化性能就越好。