决策树算法

决策树的核心思想

决策树是一种基本的分类与回归方法。它既可以用来分类也可以用来回归。这里我们重点讨论用于分类的决策树。
决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。

算法一开始开始，先构建根结点，将所有训练数据都放在根结点。然后选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。

如果这些子集己经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去；如果还有子集不能被基本正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点。

如此递归地进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止。最后每个子集都被分到叶结点上，即都有了明确的类。这就生成了一棵决策树

决策树的学习通常包括三个步骤：特征选择、决策树生成、决策树剪枝。下面对这3个步骤进行详细讲解。

特征选择

特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。那么如何才能选到分类效果好的特征呢？通常特征选择的准则是信息增益或信息增益比。
在介绍信息增益和信息增益比之前，先向大家介绍几个信息论中的概念：

熵和条件熵

熵：

条件熵：

当熵和条件熵中的概率由数据估计(特别是极大似然估计）得到时，所对应的熵与条件熵分别称为经验熵(empirical entropy)和经验条件熵(empirical conditional entropy)。

信息增益

信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。
定义：特征A对训练数据集D的信息增益g(D,A),定义为：集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H（D|A）之差，即g(D,A)=H(D)-H（D|A）。
根据信息增益准则的特征选择方法是：对训练数据集(或子集〉D,计算其每个特征的信息増益，并比较它们的大小，选择信息増益最大的特征。

信息增益比

信息増益值的大小是相对于训练数据集而言的，并没有绝对意义。在分类问题困难时，也就是说在训练数据集的经验熵大的时候，信息増益值会偏大。反之， 信息増益值会偏小。使用信息増益比(information gain ratio)可以对这一问题进行校正。这是特征选择的另一准则.
定义：特征A对训练数据集D的信息増益比gr(D,A)定义为：其信息増益g(D,A)与训练数据集D关于特征A的值的熵HA（D）之比：gr(D,A)=g(D,A)/HA（D）

决策树生成

ID3算法

ID3算法的核心是在决策树各个结点上应用信息増益准则选择特征，递归地构建决策树.具体方法是：从根结点(root node)开始，对结点计算所有可能的特征的信息増益，选择信息増益最大的特征作为结点的特征，由该特征的不同取
值建立子结点：再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息増益均很小或没有特征可以选择为止.最后得到一个决策树。

C4.5算法

C4.5算法与ID3算法相似，C4.5算法对ID3算法进行了改进，C4.5在生成的过程中，用信息増益比来选择特征。

决策树剪枝

决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的树往往对训练数据的分类非常准确，但对测试数据的分类却没有那么准确，会出现过拟合现象。过拟合的原因在于决策树在学习的过程中，过多的考虑如何提高对训练数据的正确分类，以至于构建出了过于复杂的分类模型，解决这个问题的方法是对决策树进行剪枝，降低其复杂度。
决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。
设树T的叶节点个数为|T|，t是T的叶节点，该叶节点有Nt个样本点，其中k类样本点有Ntk个。Ht(T)为叶节点t上的经验熵，α为参数，则决策树学习的损失函数为：

剪枝，就是当α确定时，选择损失函数最小的模型，即损失函数最小的子树。当α值确定时，子树越大，往往与训练数据的拟合越好，但是模型的复杂度就越髙。相反，子树越小，模型的复杂度就越低，但是往往与训练数据的拟合不好。损失函数正好表示了对两者的平衡。
可以看出，决策树生成只考虑了通过提髙信息増益(或信息増益比)对训练数据进行更好的拟合。而决策树剪枝通过优化损失函数还考虑了减小模型复杂度。决策树生成学习局部的模型，而决策树剪枝学习整体的模型。

CART

CART（分类与回归树）是决策树的一种，CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征。将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率分布。

特征选择

对回归树用平方误差最小化准则，对分类树用基尼指数进行特征选择，生成二叉树.

CART生成

回归树生成

遍历所有输入变量，找到最优的切分变量构成一个对（g，j)。依此将输入空间划分为两个区域。接着，对每个区域重复上述划分过程，直到满足停止条件为止。这样就生成一棵回归树，这样的回归树通常称为最小二乘回归树。

分类树生成

基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经A = a分割后集合D的不确定性。基尼指数值越大，样本集合的不确定性也就越大，这一点与熵相似。

CART剪枝

CART剪枝算法从“完全生长”的决策树的底端剪去一些子树，使决策树变小 (模型变简单)，从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先从生成算法产生的决策树T0底端开始不断剪枝，直到T0的根结点，形成 一个子树序列｛T0,T1,…,Tn｝，然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。