决策树剪枝

普通决策树剪枝

决策树之决策树剪枝

1. 预剪枝
   预剪枝是在完全正确分类训练集之前，较早的停止树的生长。具体在什么时候停止决策树的生长有多种不同固定方法：
   1）决策树到达一定高度。
   2）到达此节点的实例个数小于某一个阈值。
   3）计算每次扩张对系统性能的增益，如果增益值小于某一个阈值则停止生长。
   4）到达此结点的实例具有相同的特征向量，而不必一定属于同一类， 也可停止生长。

2. 预剪枝优缺点
   1）优点：由于预剪枝不必生成整棵决策树，且算法相对简单， 效率很高， 适合解决大规模问题。但是尽管这一方法看起来很直接， 但是 怎样精确地估计何时停止树的增长是相当困难的。
   2）缺点：视野效果问题。也就是说在相同的标准下，也许当前的扩展会造成过度拟合训练数据，但是更进一步的扩展能够满足要求，也有可能准确地拟合训练数据（比如当前结点如果继续生长的带来的系统增益是-2，再继续生长带来的系统增益是5，那么总的系统增益其实还是有益的，但是按照预剪枝的策略，它再第一次生长之前就停止了）。这将使得算法过早地停止决策树的构造。

3. 后剪枝
   指再已生成过拟合决