【统计学习方法】第5章 决策树

决策树（decision tree）是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。

决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。这些决策树学习的思想主要来源于由Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及由Breiman等人在1984年提出的CART算法。

1、特征选择

特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。

信息增益

熵

熵表示随机变量不确定性的度量。

设$X$是一个取有限个值的离散随机变量，其概率分布为$$\begin{array}{r}P\left(X=x_i\right)=p_i,i=1,2,\cdots ,n\end{array}$$

则随机变量$X$的熵$$\begin{array}{r}H\left(X\right)=H\left(p\right)=-\sum _{i=1}^n{p}_i\log p_i\end{array}$$

其中，若$p_i=0$，则定义 $0\log 0=0$；若$\begin{array}{r}{p}_i=\frac{1}{n}\end{array}$，则$H\left(p\right)=-{\sum }_{i=1}^n{p}_i\log p_i=-{\sum }_{i=1}^n\frac{1}{n}\log \frac{1}{n}=\log n$

由定义，得$$\begin{array}{rl}& 0\le H\left(p\right)\le \log n\end{array}$$

设有随机变量$\left(X,Y\right)$，其联合分布$$\begin{array}{rl}& \\ & P\left(X=x_i,Y=y_j\right)=p_{ij},i=1,2,\cdots ,n;j=1,2,\cdots ,m\end{array}$$

条件熵

随机变量$X$给定的条件下随机变量$Y$的条件熵$$\begin{array}{rl}& H\left(Y|X\right)=\sum _{i=1}^n{p}_{i}H\left(Y|X=x_i\right)\end{array}$$

即，$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望。其中，$p_i=P\left(X=x_i\right),i=1,2,\cdots ,n$。
条件熵$H\left(Y|X\right)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。

信息增益:

特征$A$对训练集$D$的信息增益$$\begin{array}{rl}& g\left(D,A\right)=H\left(D\right)-H\left(D|A\right)\end{array}$$

即，集合$D$的经验熵$H\left(D\right)$与特征$A$给定条件下$D$的经验条件熵$H\left(D|A\right)$之差。

其中，当熵和条件熵由数据估计（极大似然估计）得到时，对应的熵和条件熵分别称为经验熵和经验条件熵。

信息增益$g\left(X,Y\right)$表示已知特征$X$的信息而使得类$Y$的信息的不确定性减少的程度。

设训练数据集为$D$，$\left|D\right|$表示其样本容量，即样本个数。设有$K$个类$C_k,k=1,2,\cdots ,K$，$\left|C_k\right|$为属于类$C_k$的样本的个数，${\sum }_{k=1}^K\left|C_k\right|=\left|D\right|$。设特征$A$有$n$个不同的特征取值 { a 1 , a 2 , ⋯   , a n } \left\{ a_{1},a_{2},\cdots,a_{n}\right\} {a1​,a2​,⋯,an​}，根据特征$A$的取值将$D$划分为$n$个子集$D_1,D_2,\cdots ,D_n$，$\left|D_i\right|$为$D_i$的样本数，${\sum }_{i=1}^n\left|D_i\right|=\left|D\right|$。记子集$D_i$中属于类$C_k$的样本的集合为$D_{ik}$，即$D_{ik}=D_i\cap C_k$，$\left|D_{ik}\right|$为$D_{ik}$的样本个数。

信息增益算法

• 输入：训练数据集$D$和特征$A$
• 输出：特征$A$对训练数据集$D$的信息增益$g\left(D,A\right)$

1. 计算数据集$D$的经验熵$H\left(D\right)$
   $$\begin{array}{rl}& H\left(D\right)=-\sum _{k=1}^K\frac{\left|C_k\right|}{\left|D\right|}{\log }_2\frac{\left|C_k\right|}{\left|D\right|}\end{array}$$

2. 计算特征$A$对数据集$D$的经验条件熵$H\left(D|A\right)$

$$\begin{array}{rl}& H\left(D|A\right)=\sum _{i=1}^n\frac{\left|D_i\right|}{\left|D\right|}H\left(D_i\right)=\sum _{i=1}^n\frac{\left|D_i\right|}{\left|D\right|}\sum _{k=1}^K\frac{\left|D_{ik}\right|}{\left|D_i\right|}{\log }_2\frac{\left|D_{ik}\right|}{\left|D_i\right|}\end{array}$$

3. 计算信息增益$$\begin{array}{rl}& g\left(D,A\right)=H\left(D\right)-H\left(D|A\right)\end{array}$$

特征$A$对训练集$D$的信息增益比$$\begin{array}{rl}& g_R\left(D,A\right)=\frac{g\left(D,A\right)}{H_A\left(D\right)}\end{array}$$

即，信息增益$g\left(D,A\right)$与训练数据集$D$关于特征$A$的经验熵$H_A\left(D\right)$之比。其中，$$\begin{array}{rl}& H_A\left(D\right)=-\sum _{i=1}^n\frac{\left|D_i\right|}{\left|D\right|}{\log }_2\frac{\left|D_i\right|}{\left|D\right|}\end{array}$$

2、决策树生成

通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。决策树的生成往往通过计算信息增益或其他指标，从根结点开始，递归地产生决策树。这相当于用信息增益或其他准则不断地选取局部最优的特征，或将训练集分割为能够基本正确分类的子集。

ID3算法：

ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树.具体方法是：从根结点（root node）开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止.最后得到一个决策树.ID3相当于用极大似然法进行概率模型的选择.

• 输入：训练数据集$D$，特征$A$，阈值$\epsilon$
• 输出：决策树$T$

1. 若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$；
2. 若$A=\varnothing$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；
3. 否则，计算$A$中各特征$D$的信息增益，选择信息增益最大的特征$A_g$$$\begin{array}{rl}& \\ & A_g=\arg \underset{A}{\max }g\left(D,A\right)\end{array}$$
4. 如果$A_g$的信息增益小于阈值$\epsilon$，则置$T$为单结点树，并将$D$中实例数量最大的类$C_k$作为该结点的类标记，返回$T$;
5. 否则，对$A_g$的每一个可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数对大的类作为标记，构建子结点，由结点及其子结点构成树$T$，返回$T$；
6. 对第$i$个子结点，以$D_i$为训练集，以 A − { A g } A-\left\{A_{g}\right\} A−{Ag​}为特征集，递归地调用步1.～步5.，得到子树$T_i$，返回$T_i$。

C4.5算法：

C4.5算法与ID3算法相似，C4.5算法对ID3算法进行了改进.C4.5在生成的过程中，用信息增益比来选择特征.

• 输入：训练数据集$D$，特征$A$，阈值$\epsilon$
• 输出：决策树$T$

1. 若$D$中所有实例属于同一类$C_k$，则$T$为单结点树，并将类$C_k$作为该结点的类标记，返回$T$；
2. 若$A=\varnothing$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记，返回$T$；
3. 否则，计算$A$中各特征$D$的信息增益，选择信息增益比最大的特征$A_g$$$\begin{array}{rl}& A_g=\arg \underset{A}{\max }{g}_R\left(D,A\right)\end{array}$$
4. 如果$A_g$的信息增益小于阈值$\epsilon$，则置$T$为单结点树，并将$D$中实例数量最大的类$C_k$作为该结点的类标记，返回$T$;
5. 否则，对$A_g$的每一个可能值$a_i$，依$A_g=a_i$将$D$分割为若干非空子集$D_i$，将$D_i$中实例数对大的类作为标记，构建子结点，由结点及其子结点构成树$T$，返回$T$；
6. 对第$i$个子结点，以$D_i$为训练集，以 A − { A g } A-\left\{A_{g}\right\} A−{Ag​}为特征集，递归地调用步1.～步5.，得到子树$T_i$，返回$T_i$。

决策树的剪枝通过极小化决策树整体的损失函数或代价函数来实现。

设树$T$的叶结点个数为$\left|T\right|$，$t$是树$T$的叶结点，该叶结点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个，$k=1,2,\cdots ,K$，$H_t\left(T\right)$为叶结点$t$上的经验熵，则决策树的损失函数

$$\begin{array}{rl}& C_{\alpha }\left(T\right)=\sum _{t=1}^{|T|}{N}_t{H}_t\left(T\right)+\alpha \left|T\right|\end{array}$$

其中，$\alpha \ge 0$为参数，经验熵$$\begin{array}{rl}& \\ & H_t\left(T\right)=-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}\end{array}$$

损失函数中，记$$\begin{array}{rl}& C\left(T\right)=\sum _{t=1}^{|T|}{N}_t{H}_t\left(T\right)=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}\log \frac{N_{tk}}{N_t}\end{array}$$

则$$\begin{array}{rl}& C_{\alpha }\left(T\right)=C\left(T\right)+\alpha \left|T\right|\end{array}$$

其中，$C\left(T\right)$表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，$\left|T\right|$表示模型复杂度，参数$\alpha \ge 0$控制两者之间的影响。

3、决策树的剪枝

由于生成的决策树存在过拟合问题，需要对它进行剪枝，以简化学到的决策树。决策树的剪枝，往往从已生成的树上剪掉一些叶结点或叶结点以上的子树，并将其父结点或根结点作为新的叶结点，从而简化生成的决策树。

树的剪枝算法：

• 输入：决策树$T$，参数$\alpha$
• 输出：修剪后的子树$T_{\alpha }$

1. 计算每个结点的经验熵
2. 递归地从树的叶结点向上回缩
   设一组叶结点回缩到其父结点之前与之后的整体树分别为$T_B$与$T_A$，其对应的损失函数值分别是$C_{\alpha }\left(T_B\right)$与$C_{\alpha }\left(T_A\right)$，如果$$\begin{array}{rl}& \\ & C_{\alpha }\left(T_A\right)\le C_{\alpha }\left(T_B\right)\end{array}$$则进行剪枝，即将父结点变为新的叶结点。
3. 返回2.，直到不能继续为止，得到损失函数最小的子树$T_{\alpha }$

假设$X$与$Y$分别为输入和输出变量，并且$Y$是连续变量，给定训练数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \begin{aligned} & D = \left\{ \left(x_{1},y_{1}\right), \left(x_{2},y_{2}\right),\cdots,\left(x_{N},y_{N}\right) \right\} \end{aligned} ​D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}​

可选择第$j$个变量$x_j$及其取值$s$作为切分变量和切分点，并定义两个区域 R 1 ( j , s ) = { x ∣ x j ≤ s } , R 2 ( j , s ) = { x ∣ x j > s } \begin{aligned} & R_{1} \left( j,s \right) = \left\{ x | x_{j} \leq s \right\}, \quad R_{2} \left( j,s \right) = \left\{ x | x_{j} \gt s \right\} \end{aligned} ​R1​(j,s)={x∣xj​≤s},R2​(j,s)={x∣xj​>s}​最优切分变量$x_j$及最优切分点$s$$$\begin{array}{rl}& \\ & j,s=\arg \underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1\left(j,s\right)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2\left(j,s\right)}{\left(y_i-c_2\right)}^2\right]\end{array}$$

其中，$c_m$是区域$R_m$上的回归决策树输出，是区域$R_m$上所有输入实例$x_i$对应的输出$y_i$的均值$$\begin{array}{rl}& c_m=ave\left(y_i|x_i\in R_m\right),m=1,2\end{array}$$

对每个区域$R_1$和$R_2$重复上述过程，将输入空间划分为$M$个区域$R_1,R_2,\cdots ,R_M$，在每个区域上的输出为$c_m,m=1,2,\cdots ,M$，最小二乘回归树$$\begin{array}{rl}& f\left(x\right)=\sum _{m=1}^M{c}_{m}I\left(x\in R_m\right)\end{array}$$

4、CART算法

分类与回归树（classification and regression tree，CART）模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法.CART同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归.以下将用于分类与回归的树统称为决策树.

最小二乘回归树生成算法：

• 输入：训练数据集$D$
• 输出：回归树$f\left(x\right)$

1. 选择最优切分变量$x_j$与切分点$s$ $$\begin{array}{rl}& j,s=\arg \underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1\left(j,s\right)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2\left(j,s\right)}{\left(y_i-c_2\right)}^2\right]\end{array}$$

2. 用最优切分变量$x_j$与切分点$s$划分区域并决定相应的输出值 R 1 ( j , s ) = { x ∣ x j ≤ s } , R 2 ( j , s ) = { x ∣ x j > s } c m = 1 N ∑ x i ∈ R m ( j , s ) y i , m = 1 , 2 \begin{aligned} & R_{1} \left( j,s \right) = \left\{ x | x_{j} \leq s \right\}, \quad R_{2} \left( j,s \right) = \left\{ x | x_{j} \gt s \right\} \\ & c_{m} = \dfrac{1}{N} \sum_{x_{i} \in R_{m} \left( j,s \right)} y_{i}, \quad m=1,2\end{aligned} ​R1​(j,s)={x∣xj​≤s},R2​(j,s)={x∣xj​>s}cm​=N1​xi​∈Rm​(j,s)∑​yi​,m=1,2​

3. 继续对两个子区域调用步骤1.和2.，直到满足停止条件

4. 将输入空间划分为$M$个区域$R_1,R_2,\cdots ,R_M$，生成决策树$$\begin{array}{rl}& f\left(x\right)=\sum _{m=1}^M{c}_{m}I\left(x\in R_m\right)\end{array}$$

分类问题中，假设有$K$个类，样本点属于第$k$类的概率为$p_k$，则概率分布的基尼指数$$\begin{array}{rl}& Gini\left(p\right)=\sum _{k=1}^K{p}_k\left(1-p_k\right)=1-\sum _{k=1}^K\end{array}$$

对于二分类问题，若样本点属于第1类的概率为$p$，则概率分布的基尼指数$$\begin{array}{rl}& Gini\left(p\right)=\sum _{k=1}^2{p}_k\left(1-p_k\right)=2p\left(1-p\right)\end{array}$$

对于给定样本集和$D$，其基尼指数$$\begin{array}{rl}& Gini\left(D\right)=1-\sum _{k=1}^K{\left(\frac{\left|C_k\right|}{\left|D\right|}\right)}^2\end{array}$$

其中，$C_k$是$D$中属于第$k$类的样本自己，$K$是类别个数。

如果样本集合$D$根据特征$A$是否取某一可能值$a$被分割成$D_1$和$D_2$两个部分，即 D 1 = { ( x , y ) ∣ A ( x ) = a } , D 2 = D − D 1 \begin{aligned} & D_{1} = \left\{ \left(x,y\right) | A\left(x\right)=a \right\}, \quad D_{2} = D - D_{1} \end{aligned} ​D1​={(x,y)∣A(x)=a},D2​=D−D1​​则在特征$A$的条件下，集合$D$的基尼指数$$\begin{array}{rl}& Gini\left(D,A\right)=\frac{\left|D_1\right|}{\left|D\right|}Gini\left(D_1\right)+\frac{\left|D_2\right|}{\left|D\right|}Gini\left(D_2\right)\end{array}$$

基尼指数$Gini\left(D\right)$表示集合$D$的不确定性，基尼指数$Gini\left(D,A\right)$表示经$A=a$分割后集合$D$的不确定性。基尼指数值越大，样本集合的不确定性也越大。

CART生成算法：

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树.

• 输入：训练数据集$D$，特征$A$，阈值$\epsilon$
• 输出：CART决策树$T$

1. 设结点的训练数据集为$D$，对每一个特征$A$，对其可能取的每个值$a$，根据样本点对$A=a$的测试为“是”或“否”将$D$分割成$D_1$和$D_2$两部分，并计算$Gini\left(D,A\right)$
2. 在所有可能的特征$A$以及其所有可能的切分点$a$中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依此从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3. 对两个子结点递归地调用1.和2.，直至满足停止条件
4. 生成CART决策树$T$

对整体树$T_0$任意内部结点$t$，以$t$为单结点树的损失函数$$\begin{array}{rl}& C_{\alpha }\left(t\right)=C\left(t\right)+\alpha \end{array}$$以$t$为根结点的子树$T_t$的损失函数

$$\begin{array}{rl}& C_{\alpha }\left(T_t\right)=C\left(T_t\right)+\alpha \left|T_t\right|\end{array}$$

当$\alpha =0$及$\alpha$充分小时，有不等式$$\begin{array}{rl}& C_{\alpha }\left(T_t\right)<C_{\alpha }\left(t\right)\end{array}$$

当$\alpha$增大时，在某一$\alpha$有$$\begin{array}{rl}& C_{\alpha }\left(T_t\right)＝C_{\alpha }\left(t\right)\\ & C\left(T_t\right)+\alpha \left|T_t\right|＝C\left(t\right)+\alpha \\ & \alpha =\frac{C\left(t\right)-C\left(T_t\right)}{\left|T_t\right|-1}\end{array}$$

即$T_t$与$t$有相同的损失函数值，而$t$的结点少，因此对$T_t$进行剪枝。

CART剪枝算法

CART剪枝算法从“完全生长”的决策树的底端剪去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测.CART剪枝算法由两步组成：首先从生成算法产生的决策树T。底端开始不断剪枝，直到T的根结点，形成一个子树序列 { T 0 , ⋯   , T n } \{T_0,\cdots, T_n\} {T0​,⋯,Tn​}；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树.

• 输入：CART决策树$T_0$
• 输出：最优决策树$T_{\alpha }$

1. 设$k=0,T=T_0$

2. 设$\alpha =+\infty$

3. 自下而上地对各内部结点$t$计算$C\left(T_t\right),\left|T_t\right|$，以及
   $$\begin{array}{rl}& g\left(t\right)=\frac{C\left(t\right)-C\left(T_t\right)}{\left|T_t\right|-1}\\ & \alpha =\min \left(\alpha ,g\left(t\right)\right)\end{array}$$

4. 其中，$T_t$表示以$t$为根结点的子树，$C\left(T_t\right)$是对训练数据的预测误差，$\left|T_t\right|$是$T_t$的叶结点个数。

5. 自下而上地访问内部结点$t$，如果有$g\left(t\right)=\alpha$，则进行剪枝，并对叶结点$t$以多数表决法决定其类别，得到树$T$

6. 设$k=k+1,{\alpha }_k=\alpha ,T_k=T$
   如果$T$不是由根结点单独构成的树，则回到步骤4.

7. 采用交叉验证法在子树序列$T_0,T_1,\cdots ,T_n$中选取最优子树$T_{\alpha }$

5、概要总结

1．分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。

2．决策树学习旨在构建一个与训练数据拟合很好，并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问题。现实中采用启发式方法学习次优的决策树。

决策树学习算法包括3部分：特征选择、树的生成和树的剪枝。常用的算法有ID3、 C4.5和CART。

3．特征选择的目的在于选取对训练数据能够分类的特征。特征选择的关键是其准则。常用的准则如下：

（1）样本集合$D$对特征$A$的信息增益（ID3）

$$g(D,A)=H(D)-H(D|A)$$$$H(D)=-\sum _{k=1}^K\frac{\left|C_k\right|}{|D|}{\log }_2\frac{\left|C_k\right|}{|D|}$$$$H(D|A)=\sum _{i=1}^n\frac{\left|D_i\right|}{|D|}H\left(D_i\right)$$
其中，$H(D)$是数据集$D$的熵，$H(D_i)$是数据集$D_i$的熵，$H(D|A)$是数据集$D$对特征$A$的条件熵。 $D_i$是$D$中特征$A$取第$i$个值的样本子集，$C_k$是$D$中属于第$k$类的样本子集。$n$是特征$A$取 值的个数，$K$是类的个数。

（2）样本集合$D$对特征$A$的信息增益比（C4.5）

$$g_R(D,A)=\frac{g(D,A)}{H(D)}$$
其中，$g(D,A)$是信息增益，$H(D)$是数据集$D$的熵。

（3）样本集合$D$的基尼指数（CART）

$$\mathrm{Gini}(D)=1-\sum _{k=1}^K{\left(\frac{\left|C_k\right|}{|D|}\right)}^2$$
特征$A$条件下集合$D$的基尼指数：

$$\mathrm{Gini}(D,A)=\frac{\left|D_1\right|}{|D|}\mathrm{Gini}\left(D_1\right)+\frac{\left|D_2\right|}{|D|}\mathrm{Gini}\left(D_2\right)$$