机器学习笔记 - 剪枝处理

剪枝处理(pruning)是决策树学习算法中对付“过拟合”的主要手段, 在决策树学习中， 为了尽可能正确分类训练样本， 节点划分过程不断重复， 有时候会造成决策树分支过多， 以至于将训练样本集自身特点当作泛化特点， 而导致过拟合。 因此可以采用剪枝处理来去掉一些分支来降低过拟合的风险。 剪枝的基本策略有预剪枝(prepruning)和后剪枝(postprunint).
预剪枝是指在决策树生成过程中， 在每个节点划分前先估计其划分后的泛化性能， 如果不能提升， 则停止划分， 将当前节点标记为叶结点。
后剪枝是指生成决策树以后，再自下而上对非叶结点进行考察， 若将此节点标记为叶结点可以带来泛化性能提升， 则修改之.

Reference:
机器学习 - 周志华 清华大学出版社