1.预剪枝的目的:提升决策树的泛化性能
2.预剪枝的做法:
将数据划分为训练集和验证集
在划分每个节点之前进行评估,若当前节点的划分不能提升泛化性能,则停止划分,并将其标记为叶节点;
若当前节点的划分能够提升泛化性能(从信息增益 or 其他方式 选择最优属性),则继续划分;
3.如何判断泛化性能是否提升:
用留出法(机器学习-性能评估方法,2.2)划分验证集|训练集 进行验证:
当前节点不划分:计算当前验证集精度
当前节点划分 :计算划分后验证集精度
若 划分前>=划分后,则选择不划分。