【机器学习八】决策数

• 剪枝是决策树学习算法对付“过拟合”的主要手段。过拟合的原因可能是:为了尽可能的正确分类训练样本，结点划分过程不断重复，有时会造成决策树分支过多，这是可能因训练样本学的讨“太好”了，以至于出现过拟合的情况，因此可以主动的去掉一些分支降低过拟合的风险。

  通常会采取预剪枝和后剪枝的方法。预剪枝:指在决策树生成的过程中，对每个结点在划分前先进行估计，即估计当前结点的划分能不能带来决策树的泛化能力的提升，若能则划分，若不能则停止划分；后剪枝:指先从训练样本中生成一颗完整的决策树，然后自底向上对非叶结点进行考察，如果将该结点对应的子树替换成叶结点能不能提高泛化能里，若能的话，进行剪枝，不能则不进行处理。
  以下是对这两者的总结：

	预剪枝	后剪枝
分支	少些	多些
欠拟合风险	大些	小些
泛化能力	弱些	强些
时间开销	小些	大些