一、剪枝目的
避免过拟合现象,提升模型的泛化效果
二、剪枝方法
剪枝算法主要分为两种,预剪枝和后剪枝
2.1 预剪枝
预剪枝是在构建决策树的过程中,提前停止使模型性能变差的分支
预剪枝方法:
- 当树的深度达到一定的规模,停止生长。
- 当前节点的样本数量小于某个阈值,停止生长。
- 当信息增益,信息增益率和基尼指数增益小于某个阈值,停止生长。
- 当测试集准确性提升小于某个阈值,或不再提升甚至有所下降时,停止生长。(西瓜书)
预剪枝方法能有效提升模型性能,并减少训练时间和测试时间;但这种方法采用的是贪心本质,存在欠拟合风险。
2.2 后剪枝
后剪枝是在决策树构建完成后,开始自下而上地剪枝
后剪枝方法:
- 悲观剪枝(PEP)
- 最小误差剪枝(MEP)
- 错误率降低剪枝(REP),(西瓜书)
- 代价复杂度剪枝(CCP)
- OPP (Optimal Pruning)
- CVP (Critical Value Pruning)