机器学习——决策树：ID3，C4.5，CART

决策树是一种基本的分类与回归方法，决策树模型呈树形结构，可以认为是if-then规则的集合。

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。开始，构建根结点，将所有训练数据都放在根结点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。如果这些子集已经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去；如果还是子集不能被基本正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点。如此递归地进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止。最后每个子集都被分到叶结点上，即都有了明确的类，这就生成了一颗决策树。

决策树对于训练数据的拟合能力很强，但往往容易过拟合，导致对未知的测试数据未必有很好的分类能力。因此，需要引入剪枝步骤，将树模型简单化，从而使其具有更好的泛化能力。

决策树常用的算法有ID3、C4.5、CART、RF、GBDT、XGBoost、LGBM等，下面我们逐一介绍。

ID3

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个决策树，ID3算法相当于用极大似然法进行概率模型的选择。但是ID3算法只有树的生成，所以容易过拟合。

信息增益

信息增益表示得知特征 $X$ 的信息而使得类 $Y$ 的信息的不确定性减少的程度。

设训练数据集为 $D$，$|D|$ 表示其样本容量，即样本个数。设有 $K$ 个类 $C_k$，$k=1,2,...,K$，$|C_k|$ 为属于类 $C_k$ 的样本个数，${\sum }_{k=1}^K|C_k|=|D|$。设特征 $A$ 有 $n$ 个不同的取值 { a 1 , a 2 , . . . , a n } \{a_1,a_2,...,a_n\} {a1​,a2​,...,an​}，根据特征 $A$ 的取值将 $D$ 划分为 $n$ 个子集 $D_1,D_2,...,D_n$，$|D_i|$ 为 $D_i$ 的样本个数，${\sum }_{i=1}^n|D_i|=|D|$。记子集 $D_i$ 中属于类 $C_k$ 的样本的集合为 $D_{ik}$，即 $D_{ik}=D_i\cap C_k$，$|D_{ik}|$ 为 $D_{ik}$ 的样本个数。特征 $A$ 对训练数据集 $D$ 的信息增益 $g(D,A)$，定义为集合 $D$ 的经验熵 $H(D)$ 与特征 $A$ 给定条件下 $D$ 的经验条件熵 $H(D|A)$ 之差，即：
$$\begin{gathered} g(D,A)=H(D)-H(D|A) \\ H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}{\log }_2\frac{|C_k|}{|D|} \\ H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|} \end{gathered}$$

ID3算法：
输入：训练数据集 $D$，特征集 $A$，阈值 $\epsilon$
输出：决策树 $T$

1. 若 $D$ 中所有实例属于同一类 $C_k$，则 $T$ 为单结点树，并将类 $C_k$ 作为该结点的类标记，返回 $T$；
2. 若 $A=\varnothing$，则 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$；
3. 否则，计算 $A$ 中各特征对 $D$ 的信息增益，选择信息增益最大的特征 $A_g$；
4. 如果 $A_g$ 的信息增益小于阈值 $\epsilon$，则置 $T$ 为单结点树，并将 $D$ 中实例数最大的类 $C_k$ 作为该结点的类标记，返回 $T$；
5. 否则，对 $A_g$ 的每一可能值 $a_i$，依 $A_g=a_i$ 将 $D$ 分割为若干非空子集 $D_i$，将 $D_i$ 中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树 $T$，返回 $T$；
6. 对第 $i$ 个子结点，以 $D_i$ 为训练集，以 A − { A g } A-\{A_g\} A−{Ag​} 为特征集，递归地调用步骤1~5，得到子树 $T_i$，返回 $T_i$。

C4.5

C4.5与ID3一样，只是在特征选择时，将信息增益换成信息增益比。

信息增益比

特征 $A$ 对训练数据集 $D$ 的信息增益比 $g_R(D,A)$ 定义为其信息增益 $g(D,A)$ 与训练数据集 $D$ 的经验熵 $H(D)$ 之比：
$$g_R(D,A)=\frac{g(D,A)}{H(D)}$$ 信息增益值的大小是相对于训练数据集而言的，并没有绝对意义。在分类问题困难时，即训练数据集经验熵大的时候，信息增益值会偏大，反之，则会偏小。因此，使用信息增益比可以对这一问题进行改善。

CART

分类与回归树（CART）模型由Breiman等人在1984年提出，是即可用于分类，也可用于回归。CART中的决策树全部是二叉树，内部结点取值只有“是”和“否”。注意，ID3和C4.5则没有要求决策树必须为“二叉”。

回归树

输入：训练数据集 $D$
输出：回归树 $f(x)$
在训练数据集所在的输入空间中，递归地每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：

1. 选择最优切分变量 $j$ 与切分点 $s$，求解
   $$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$遍历变量 $j$，对固定的切分变量 $j$ 扫描切分点 $s$，选择使上式达到最小值的对 $(j,s)$。
2. 用选定的对 $(j,s)$ 划分区域并决定相应的输出值：
   R 1 ( j , s ) = { x ∣ x ( j ) ≤ s } ,        R 2 ( j , s ) = { x ∣ x ( j ) > s } c m ^ = 1 N m ∑ x i ∈ R m ( j , s ) y i ,        x ∈ R m ,        m = 1 , 2 R_1(j,s)=\{x|x^{(j)} \leq s\},\;\;\; R_2(j,s)=\{x|x^{(j)}>s\} \\ \hat{c_m}=\frac{1}{N_m}\sum_{x_i \in R_m(j,s)} y_i, \;\;\; x\in R_m,\;\;\; m=1,2 R1​(j,s)={x∣x(j)≤s},R2​(j,s)={x∣x(j)>s}cm​^​=Nm​1​xi​∈Rm​(j,s)∑​yi​,x∈Rm​,m=1,2
3. 继续对两个子区域调用步骤1，2，直至满足停止条件。
4. 将输入空间划分为 $M$ 个区域 $R_1,R_2,...,R_M$，生成决策树：
   $$f(x)=\sum _{m=1}^M\widehat{c_m}I(x\in R_m)$$

分类树

输入：训练数据集 $D$，停止计算的条件
输出：CART决策树
根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构建二叉决策树：

1. 设结点的训练数据集为 $D$，计算现有特征对该数据集的基尼指数。此时，对每一个特征 $A$，对其可能取的每个值 $a$，根据样本点对 $A=a$ 的测试为“是”或“否”将 $D$ 分割成 $D_1$ 和 $D_2$ 两部分，利用下式计算 $A=a$ 时的基尼指数：
   $$\begin{gathered} Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2) \\ Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2 \end{gathered}$$其中，$C_k$ 是 $D$ 中属于第 $k$ 类的样本子集。
2. 在所有可能的特征 $A$ 以及它们所有可能的切分点 $a$ 中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3. 对两个子结点递归地调用步骤1,2，直至满足停止条件。
4. 生成CART决策树。

算法停止计算的条件是结点中的样本个数小于预定阈值，或样本集的基尼指数小于预定阈值（样本基本属于同一类），或者没有更多特征。

CART剪枝

决策树剪枝是通过从底端剪去一些子树，使决策树变小变简单，避免过拟合的发生，从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：剪枝+交叉验证选子树。

剪枝

在剪枝过程中，计算子树的损失函数：
$$C_{\alpha }(T)=C(T)+\alpha |T|$$其中，$T$ 为任意子树，$C(T)$ 为对训练数据的预测误差，$|T|$ 为子树的叶结点个数，$\alpha \ge 0$ 为参数，$C_{\alpha }(T)$ 为参数是 $\alpha$ 时的子树 $T$ 的整体损失。参数 $\alpha$ 权衡训练数据的拟合程度与模型复杂度。

具体地，从整体树 $T_0$ 开始剪枝，对 $T_0$ 的任意内部结点 $t$，以 $t$ 为单结点树的损失函数是：
$$C_{\alpha }(t)=C(t)+\alpha$$以 $t$ 为根结点的子树 $T_t$ 的损失函数是：
$$C_{\alpha }(T_t)=C(T_t)+\alpha |T_t|$$当 $\alpha =0$ 及 $\alpha$ 充分小的时候，有：
$$C_{\alpha }(T_t)<C_{\alpha }(t)$$当 $\alpha$ 增大时，在某一 $\alpha$ 有：
$$C_{\alpha }(T_t)=C_{\alpha }(t)$$当 $\alpha$ 继续增大时，不等式反向。即当$\alpha =\frac{C(t)-C(T_t)}{|T_t|-1}$ 时，$T_t$ 与 $t$ 有相同的损失函数值，而 $t$ 的结点少，因此 $t$ 比 $T_t$ 更可取，对 $T_t$ 进行剪枝。

为此，对 $T_0$ 中每一内部结点 $t$ ，计算：
$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$它表示剪枝后整体损失函数减少的程度。在 $T_0$ 中剪去 $g(t)$ 最小的 $T_t$，将得到的子树作为 $T_1$，同时将最小的 $g(t)$ 设为 ${\alpha }_1$。$T_1$ 为区间 $[{\alpha }_1,{\alpha }_2)$ 的最优子树。如此剪枝下去，直至得到根结点。在这一过程中，不断地增加 $\alpha$ 的值，产生新的区间。

交叉验证选子树

利用独立的验证数据集，测试子树序列 $T_0,T_1,...,T_n$ 中各棵子树的平方误差或基尼指数。平方误差或基尼指数最小的决策树被认为是最优的决策树。在子树序列中，每棵子树 $T_0,T_1,...,T_n$ 都对应于一个参数 ${\alpha }_1,{\alpha }_2,...,{\alpha }_n$。所以，当最优子树 $T_k$ 确定时，对应的 ${\alpha }_k$ 也确定了，即得到最优决策树 $T_{\alpha }$。

参考文献

[1] 李航. 统计学习方法. 清华大学出版社. 2012