决策树面试知识点最全总结（三）

决策树面试知识点最全总结（三）决策树的剪枝

一 为什么需要减枝：
无论是在ID3还是C4.5决策树的生成算法中，都是递归的生成决策树，直到不能继续下去为止。这样产生的决策树存在一些问题：过拟合即对训练数据的分类很准确，对未知的测试数据的分类却没有那么准确。

过拟合的原因：在于学习时过多的考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。

解决办法：考虑决策树的复杂度（复杂度如何表示|T| ：叶子结点的个数），对已经生产的决策树进行简化（后剪枝）

二 决策树剪枝：

在决策树学习中将已生成的树进行简化的过程称为剪枝，具体的，剪枝从已生成的树上裁掉一些子树和叶节点，并将其根节点或父节点作为新的叶节点，从而简化模型。

三 决策树的剪枝如何实现：

决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。接下来重点介绍下决策树的损失函数。
假设决策树T的叶子结点个数为|T|,t是树T的叶子结点，该叶结点有$N_t$个样本点，其中K类的样本点有$N_tk$个，k=1,2…K,$H_t(T)$为叶子结点上的经验熵，α 大于等于0 为参数，则决策树的损失函数可以定义为： Cα(T)=∑t=1