机器学习强基计划2-3：图文详解决策树预剪枝、后剪枝原理+Python实现

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

🚀详情：机器学习强基计划(附几十种经典模型源码合集)

1 什么是剪枝？

剪枝(pruning)是一种可以提高算法时间和空间效率的技巧，经过剪枝的算法在执行效率上远超一般未经剪枝的算法。有些算法甚至可以通过剪枝优化降低计算的时间复杂度等级，突破应用瓶颈。

剪枝算法主要分为三类

• 可行性剪枝
  如当前状态和问题要求不符，并且可以推出从该状态往后的演变都不满足要求，那么就可以进行剪枝——该状态的搜索终止

• 排除等效冗余
  当某几个枝桠可以证明具有完全相同的效果时，只选择其中一个，其他状态搜索终止

• 最优性剪枝
  最优性剪枝是基于搜索解决最优化问题时常用的剪枝方法。若证明当前状态比已经搜索到的最优解差，则状态搜索终止

2 预剪枝与后剪枝

决策树学习算法很容易产生过拟合现象，表