sklearn机器学习入门第二章：白盒学习的典范——决策树（原理篇）

1 决策树概述

1.1 分类决策树

分类决策树模型是一种描述对实例进行分类的树形结构，由以下部分构成：

• 决策树
• 结点
• 有向边
• 内部结点
• 叶结点
  决策树使用过一系列规则对数据进行分类的过程，遵循以下步骤
  （1）构建根结点
  （2）选择最优特征，以此分割训练数据集
  （3）若子集被基本正确分类，构建叶结点，否则，继续选择新的最优特征
  （4）重复以上两步，直到所有训练数据子集被正确分类

1.2 条件概率分布

决策树其实就是给定特征条件下类的条件概率分布$P(Y|X)$，是特征空间的一个划分，所划分的单元或区域互不相交，决策树的条件概率分布由各个单元给定条件下类的条件概率分布组成。

1.3 决策树的学习

已知：训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y n ) } T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots,\left(x_N,y_n\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yn​)}，其中，$x_i=\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)$， y i = { 1 , 2 , ⋯   , K } , i = 1 , 2 , ⋯   , N y_i=\left\{ 1,2,\cdots,K\right\},i=1,2,\cdots,N yi​={1,2,⋯,K},i=1,2,⋯,N
目的：构造决策树，并对实例正确分类
本质：从训练数据集中归纳出一组分类规则，与训练数据集不相矛盾
假设空间：由无穷多个条件概率模型生成
一颗好的决策树：与训练数据矛盾较小，同时具有良好的泛化能力
策略：最小化损失函数
特征选择：递归选择最优特征
生成：对应特征空间的划分，直到所有训练子集被基本正确分类
剪枝：避免过拟合，具有更好的泛化能力

1.4 特征选择——信息增益

1.4.1 熵

表示随机变量的不确定性$$H(X)=-\sum _{i=1}^n{p}_i\log p_{i}orH(p)=-\sum _{i=1}^n{p}_i\log p_i$$随机变量取值等概率分布时，相应的熵最大。

1.4.2 条件熵

条件熵表示为$$H(Y|X)=-\sum _{i=1}^n{p}_{i}H(Y|X=x_i)=\sum _{i=1}^n\frac{\left|D_i\right|}{|D|}H\left(D_i\right)=-\sum _{i=1}^n\frac{\left|D_i\right|}{|D|}\sum _{k=1}^K\frac{\left|D_{ik}\right|}{\left|D_i\right|}{\log }_2\frac{\left|D_{ik}\right|}{\left|D_i\right|}$$
当熵和条件熵中的概率由数据估计得到时，称为经验熵或经验条件熵。

1.4.3 信息增益

信息增益表示为$$g(D,A)=H(D)-H(D|A)$$表示得知特征$A$而使得$D$的信息不确定性减少的程度（数值），依据信息增益选择特征将导致选择取值数量更多的特征。

1.4.4 信息增益比

信息增益比表示为$$g_r(D,A)=\frac{g(D,A)}{H_A(D)}$$表示得知特征$A$而使得$D$的信息不确定性减少的程度（比例），依据信息增益选择特征将导致选择取值数量更少的特征。

2 决策树的生成

2.1 ID3算法

输入：训练数据集$D$、特征集$A$、阈值$\epsilon$
输出：决策树$T$
（1）判断$T$是否需要选择特征生成决策树
① 若$D$中所有实例属于同一类，则$T$为单结点树，记录实例类别，以此作为该结点的类标记，并返回$T$；
② 若D中所有实例无任何特征（$A=\varnothing$），则$T$为单结点树，记录$D$中实例个数最多的类别以此作为该结点的类标记，并返回$T$；
（2）否则，计算$A$中个特征的信息增益，并选择信息增益最大的特征
① 若的信息增益小于，则$T$为单结点树，记录$D$中实例个数最多的类别以此作为该结点的类标记，并返回$T$；
② 否则，按照的每个可能值，将$D$分为若干非空子集，将中实例个数最多的类别作为类标记，构建子结点，以结点和其他子结点构成$T$，并返回$T$；
（3）第$i$个子结点，以作为训练集，作为特征集合，递归调用以上步骤，得到子树并返回

2.2 C4.5算法

输入：训练数据集$D$、特征集$A$、阈值$\epsilon$
输出：决策树$T$
（1）判断T是否需要选择特征生成决策树
① 若$D$中所有实例属于同一类，则$T$为单结点树，记录实例类别，以此作为该结点的类标记，并返回$T$
② 若$D$中所有实例无任何特征（$A=\varnothing$），则$T$为单结点树，记录$D$中实例个数最多的类别以此作为该结点的类标记，并返回$T$
（2）否则，计算A中个特征的信息增益比，并选择信息增益比最大的特征
① 若的信息增益比小于，则T为单结点树，记录D中实例个数最多的类别以此作为该结点的类标记，并返回T
② 否则，按照的每个可能值，将D分为若干非空子集，将中实例个数最多的类别作为类标记，构建子结点，以结点和其他子结点构成T，并返回T
（3）第i个子结点，以作为训练集，作为特征集合，递归调用以上步骤，得到子树并返回
ID3和C4.5计算流程图如下：

2.3 ID3和C4.5的特点

（1）ID3使用信息增益选择特征，偏向于选择数值水平较多的特征；
（2）C4.5使用信息增益比选择特征，偏向于选择数值水平较少的特征；
（3）C4.5可以处理连续型数据和离散型特征；
（4）C4.5计算开销较大，在数据量大时不适用；
（5）C4.5算法可以处理缺失值。

2.4 剪枝

优秀的决策树，在具有良好的拟合和泛化能力的同时，还应具备深度小、叶结点少等特性。
误差：训练误差、测试误差
过拟合：训练误差低、测试误差高（模型复杂度过高）
欠拟合：训练误差高、测试误差高（模型复杂度过低）
剪枝：处理决策树的过拟合问题
预剪枝：生成过程中，对每个结点划分前进行估计，若当前结点的划分不能提升泛化能力，则停止划分，记当前结点为叶结点
后剪枝：生成一颗完整的决策树之后，自底而上地对内部结点考察，若此内部结点变为叶结点可以提升泛化能力，则做此替换

2.4.1 预剪枝

（1）限定决策树的深度（限定最大树深）
（2）设定一个信息增益（信息增益比）阈值
（3）设置某个指标，比较结点划分前后的泛化能力

2.4.2 后剪枝

（1）降低错误的剪枝（REP）（验证集）
（2）悲观错误剪枝（PEP）
（3）最小错误剪枝

2.5 CART算法

2.5.1 分类树

（1）基尼指数
假设现在有$K$个类，样本点属于第$k$个类的概率为$p_k$，则概率分布的基尼指数为$$Gini(p)=\sum _{k=1}^K{p}_k\left(1-p_k\right)=1-\sum _{k=1}^K{p}_k^2$$二分类：$$Gini(p)=2p(1-p)$$样本集$D$的基尼指数：$$Gini(D)=1-\sum _{k=1}^K{\left(\frac{\left|C_k\right|}{|D|}\right)}^2$$基尼指数越小表明确定性越强。
（2）CART分类树算法
输入：训练数据集$D$、特征集$A$、阈值
输出：CART决策树
① 从根节点出发，进行操作，构建二叉树；
② 结点处的训练数据集为$D$，计算现有特征对该数据集的基尼指数，并选择最优特征；
 1）在特征$A_g$下，对其可能取的每个值$a_g$，根据样本点对$A_g=a_g$的测试为“是”或“否”，将$D$分割为$D_1$和$D_2$两个部分，计算$A_g=a_g$时的基尼指数；
 2）选择基尼指数最小的那个值作为该特征下的最优切分点；
 3）计算每个特征下的最优切分点，并比较在最优切分下的每个特征的基尼指数，选择基尼指数最小的那个特征，即最优特征；
③ 根据最优特征与最优切分点，从现结点生成两个子结点，将训练数据集按照特征分配到两个子结点中去；
④ 分别对两个子结点递归调用以上步骤，直到满足条件（如节点中的样本个数小于预设阈值、样本集的基尼系数小于预设阈值或没有更多特征），即生成CART树完毕。

2.5.2 回归树

（1）切分点
假设将输入空间划分为$M$个单元$R_1,R_2,\cdots ,R_M$，并且在每一个单元$R_m$上有固定的输出值$c_m$则回归模型可表示为$$f(X)=\sum _{m=1}^M{c}_{m}I\left(x\in R_m\right)$$平方误差表示为$$\sum _{x_i\in R_m}{\left(y_i-f\left(x_i\right)\right)}^2$$最优输出为$${\hat{C}}_m=Average\left(y_i|x_i\in R_m\right)$$选择第$x^{(j)}$个变量和取值$s$，分别作为切分变量和切分点，并定义两个区域：$$R_1(j,s)=\left\{x|x^{(j)}\le s\right\},R_2(j,s)=\left\{x|x^{(j)}>s\right\}$$寻找最优切分变量$j$和最优切分点$s$：$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}{\left(y_i-c_2\right)}^2\right]$$对固定输入变量$j$可以找到最优切分点$s$：$${\hat{C}}_1=Average\left(y_i|x_i\in R_1(j,s)\right)and{\hat{C}}_2=Average\left(y_i|x_i\in R_2(j,s)\right)$$
（2）CART回归树算法
输入：训练数据集$D$、停止条件
输出：CART决策树$T$
1）从根节点出发，进行操作，构建二叉树
2）结点处的训练数据集为$D$，计算变量的最优切分点，并选择最优变量：$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}{\left(y_i-c_2\right)}^2\right]$$

① 在第$j$个变量下，对其可能的每个值$s$，根据样本点分割成和两部分，计算切分点为$s$时的平方误差
② 选择平方误差最小的那个值作为该变量下的最优切分点
③ 计算每个变量下的切分点，并比较在最优切分点下的每个变量的平方误差，选择平方误差最小的那个变量，即最优变量
3）根据最优特征与最优切分点$(j,s)$，从现结点生成两个子结点，将训练数据集依变量分配到两个子结点中去，得到相应的输出值$$R_1(j,s)=\left\{x|x^{(j)}\le s\right\},R_2(j,s)=\left\{x|x^{(j)}>s\right\}$$
$${\hat{c}}_m\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2$$
4）继续对两个子区域调用上述步骤，直至满足停止条件，即生成CART决策树$$f(x)=\sum _{m=1}^M{\hat{c}}_{m}I\left(x\in R_m\right)$$
（3）剪枝
损失函数$C_{\alpha }(T)=C(T)+\alpha |T|$，取值$\alpha =\frac{C(t)-C\left(T_t\right)}{|T_t|-1}$，$C(t)$表示代价，即对训练数据集的拟合程度，$\alpha |T|$表示复杂度，即模型的泛化能力，当$\alpha \to 0$时，泛化能力趋近于零，模型对现有数据拟合最好，得到完整的树模型；当$\alpha \to \infty$时，泛化能力无限大，模型退化为单结点，对所有数据都适用，但拟合效果很差。若有$0\le {\alpha }_0<{\alpha }_1<{\alpha }_2<\cdots <{\alpha }_n<{\alpha }_{n+1}<+\infty$，则每个值对应一颗决策树，剪枝程度不同。
输入：CART算法生成的决策树
输出：最优决策树
1）设$k=0$，$T=T_0$
2）设$\alpha =+\infty$
3）自下而上地对内部结点$t$计算$C(T_t)$、$|T_t|$以及$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1},\alpha =\min (\alpha ,g(t))$$
这里，$T_t$表示以$t$为根结点的子树，$C(T_t)$是对训练数据的预测误差，$|T_t|$是$T_t$的叶节点个数
4）自上而下地访问内部结点$t$，如果有$g(t)=\alpha$，进行剪枝，并对叶结点$t$以多数表决法决定其类，得到树$T$
5）设$k=k+1$，${\alpha }_k=\alpha$，$T_k=T$
6）如果$T$不是由根结点单独构成的树，则回到步骤（4）
7）采用交叉验证法在子树序列$T_0,T_1,\cdots ,T_n$中寻找最优子树$T_{\alpha }$

2.5.3 温馨提示

决策树的原理和sklearn中对决策树的实现是有区别的，本篇阐述决策树算法原理是为了形成对决策树算法形成系统性认知，这样才会明白决策树到底是怎么工作的，在使用时心中有数，报错或性能不理想时能够合理地归因。

---

参考资料：简博士 https://space.bilibili.com/406882224
（讲得很好，建议学习）