剪枝
机器学习的决策树算法,为防止过拟合现象和过度开销,而采用剪枝的方法,主要有预剪枝和后剪枝两种常见方法。
预剪枝
自顶至下,从根节点开始,如果当前节点展开后的预测效果大于未展开的预测效果,则会展开,否则不展开。
优点:算法简单,有效避免过拟合现象。
缺点:欠拟合现象严重,比如原本60%的正确率,展开后变成55%,而禁止节点划分,显然不合理。
后剪枝
自下至上,从叶子节点开始,如果某个节点剪枝后的正确率更高,则进行剪枝,否则不剪枝。
优点:有效避免欠拟合现象,正确率较高。
缺点:需要先生成完整的决策树,开销大。