普通决策树剪枝
预剪枝
预剪枝是在完全正确分类训练集之前,较早的停止树的生长。具体在什么时候停止决策树的生长有多种不同固定方法:
1)决策树到达一定高度。
2)到达此节点的实例个数小于某一个阈值。
3)计算每次扩张对系统性能的增益,如果增益值小于某一个阈值则停止生长。
4)到达此结点的实例具有相同的特征向量,而不必一定属于同一类, 也可停止生长。预剪枝优缺点
1)优点:由于预剪枝不必生成整棵决策树,且算法相对简单, 效率很高, 适合解决大规模问题。但是尽管这一方法看起来很直接, 但是 怎样精确地估计何时停止树的增长是相当困难的。
2)缺点:视野效果问题。也就是说在相同的标准下,也许当前的扩展会造成过度拟合训练数据,但是更进一步的扩展能够满足要求,也有可能准确地拟合训练数据(比如当前结点如果继续生长的带来的系统增益是-2,再继续生长带来的系统增益是5,那么总的系统增益其实还是有益的,但是按照预剪枝的策略,它再第一次生长之前就停止了)。这将使得算法过早地停止决策树的构造。后剪枝
指再已生成过拟合决