weixin_39913340的博客

原创 cart决策树的后剪枝策略

后剪枝策略一般要求我们先构建好决策树，使的得每个叶子节点都是纯的（只有一种结果）。然后再进行剪枝操作。一般认为对构建好的决策树进行剪枝有几个好处。1 可以加快计算的速度 2 可以防止过拟合。其中2是更主要的原因。那么怎样判断何时应当进行剪枝操作呢？一种很自然的想法是，当模型的复杂度超过它带来的准确率增益时，应当进行剪枝操作。可以将子树的损失函数定义为：, 其中E()表示以该节点为跟的子树的...