预剪枝和后剪枝

剪枝

机器学习的决策树算法，为防止过拟合现象和过度开销，而采用剪枝的方法，主要有预剪枝和后剪枝两种常见方法。

预剪枝

自顶至下，从根节点开始，如果当前节点展开后的预测效果大于未展开的预测效果，则会展开，否则不展开。
优点：算法简单，有效避免过拟合现象。
缺点：欠拟合现象严重，比如原本60%的正确率，展开后变成55%，而禁止节点划分，显然不合理。

后剪枝

自下至上，从叶子节点开始，如果某个节点剪枝后的正确率更高，则进行剪枝，否则不剪枝。
优点：有效避免欠拟合现象，正确率较高。
缺点：需要先生成完整的决策树，开销大。