机器学习（三）决策树

一、决策树介绍

决策树是一类常见的机器学习的方法。
一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶子结点：

1. 叶子结点对应于决策结果，其他每个节点对应于一个测试属性；
   2.每个结点包含的样本集合根据属性测试的结果被划分到子结点中；
   3.根结点包含样本全集；

二、决策树的目的

决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树。

三、决策树学习算法

1.ID3决策树学习算法

该算法是以信息增益为准则来选择划分属性；
该算法用于分类；
该算法不支持剪枝操作；

2.C4.5

信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，提出C4.5决策树算法。

该决策树算法不直接使用信息增益，而是使用“增益率”来选择最优划分属性。

需要注意的是，增益率准则对可取值数据较少的属性有所偏好，因此C4.5算法并不是直接选择增益率最大的候选候选划分属性，而是使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率高的。

该算法用于分类；
该算法支持剪枝操作

3.CART

CART（Classification and Regression Tree）决策树，使用“基尼指数”来选择划分属性。
该算法支持剪枝操作
该算法用于回归和分类。

四、剪枝

决策树剪枝的策略：预剪枝和后剪枝。

剪枝（pruning）是决策树学习算法对付“过拟合”的主要手段，在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因训练样本学得“太好”了，以致于吧训练集自身的一些特点当作所有数据都具有的一般性质而导致过拟合，因此可以通过主动去掉一些分支来降低过拟合的风险。

决策树剪枝的基本策略：
1.预剪枝
预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前节点标记为叶结点。

优点： 预剪枝使得决策树的很多分支都没有“展开”，这不仅降低了过拟合的风险，还显著减少了决策树的训练时间开销和测试时间开销；
缺点：有些分支的当前划分虽不能提升泛化性能。甚至可能导致泛化性能暂时下降，但在其基础上进行的后续划分却有可能导致性能显著提高；预剪枝基于“贪心”本质禁止这些分支展开，给预剪枝决策树带来了欠拟合的风险。

2.后剪枝
后剪枝是先从训练集生成一棵完整的决策树，然后自底向上地对非叶子结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶子结点。

优点：后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树；
缺点：后剪枝过程是在生成完全决策树之后进行的，并且要自底向上地对树中的所有非叶子结点进行逐一考察，因此训练时间开销比未剪枝决策树和预剪枝决策树都要大得多。