决策树学习总结（Decision Tree）

Decision Tree

决策树模型是一种基本的回归和分类方法。顾名思义是一种树形结构，在分类问题中，决策树中的非叶节点代表了数据集的特征，叶节点代表了最终的分类。它的有点主要是可解释性很强，分类速度较快。

通常决策树学习分为3个步骤：

• 特征选择
• 生成决策树
• 决策树剪枝

主要包括ID3，C4.5和CART三个算法。

一、几个概念

1. 信息熵

熵简单来说就是系统的复杂程度，复杂程度越高熵就高，也可以理解为系统所包含的信息量。很直观地来看，如果复杂程度低，那么说明系统比较简单，包含的信息量自然也就少了。例如一个包含了1个齿轮的系统和一个包含了十个齿轮组合的系统，显而易见地前者信息量较低。

在概率论中，两个互相独立的随机事件同时发生时，假设事件1和事件2所包含的信息量分别为$h(x_1),h(x_2)$，那么他们同时发生时的熵为：
$$h(x_1,x_2)=h(x_1)+h(x_2)$$
同时，如果这两个事件是独立的话，那两件事同时发生的概率就是：
$$p(x_1,x_2)=p(x_1)p(x_2)$$
从这里可以看出，熵和概率的关系是对数的关系，由此我们可以得到信息量公式：
$$h(x)=-\log p(x)$$
它代表了随机事件包含的信息量。假设$X$是一个取有限个值的离散随机变量，服从以下分布：
$$P(X=x_i)=p_i,i=1,2,...,n$$
那么信息熵则代表了我们对事件可能产生的信息量的期望：
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$
这就是信息熵。从这里可以看出信息熵和随机变量$X$本身没有关系，只和它的概率分布有关，所以也可以写成：
$$H(p)=-\sum _{i=1}^n{p}_i\log p_i$$
对数底不同，熵的单位也不同（以2为底和以$e$为底信息熵的单位分别为比特(bit)和纳特(nat)）。熵越大则说明随机变量的不确定性就越大。从另一个方面也可以理解成$X$的多样性，极端情况下如果$X$仅有一个取值，也就是$X$是确定事件，概率为1，那么它的熵就为0，也就不存在不确定性。

2. 条件熵

设有随机变量$(X,Y)$，联合概率分布为：
$$P(X=x_i,Y=y_j)=p_{ij},i=1,2,...,n;j=1,2,...,m$$
条件熵$H(Y|X)$则表示在已知随机变量$X$的条件下随机变量$Y$的不确定性，也就是在$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望：
$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$
如果熵和条件熵中的概率是从数据集中使用估计的方法得到，那么对应的熵就是经验熵和经验条件熵。

3. 信息增益

信息增益表示得知特征$X$的信息而使$Y$的不确定性减少的程度，也就是$Y$熵减的程度。

特征$A$对训练数据集$D$的信息增益$g(D,A)$，定义为集合$D$的经验熵$H(D)$与在$A$确定的情况下$D$的条件经验熵$H(D|A)$只差：
$$g(D,A)=H(D)-H(D|A)\text{\hspace{1em}(1.1)}$$
信息增益可以在决策树中用来进行特征选择。在决策树算法中，我们每次选择的特征就是使信息不确定性减少最大的那个，也就是信息增益最大的那个特征，根据我们在1中的分析，即选择能够取较多值的特征。

信息增益的计算：

1. 计算数据集$D$的经验熵$H(D)$：
   $$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}\log \frac{|C_k|}{|D|}$$

2. 计算特征$A$对数据集$D$的经验条件熵$H(D|A)$：
   $$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}\log \frac{|D_{ik}|}{|D_i|}$$

3. 计算信息增益：
   $$g(D,A)=H(D)-H(D|A)$$

4. 信息增益比

特征$A$对于数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与数据集$D$关于特征$A$的值的熵$H_A(D)$之比：
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}\text{\hspace{1em}(1.2)}$$
其中：
$$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\log \frac{|D_i|}{|D|}\text{\hspace{1em}(1.3)}$$
$n$是特征$A$的取值个数，$|D_i|/|D|$是特征$A$的一个取值的样本数目在数据集中的比例。

二、决策树算法

决策树顾名思义是一个树形结构，它的生成可以按照以下步骤：

• 选择一个特征，特征有多个取值，把属于同一个取值的特征划分到一个类别，作为下一层的节点
• 在新的一层上，再选取特征，按照同样规则划分节点
• 最后通过特征划分得到不同路径，根据样本标签确定类别。类别在最下面的叶子节点上。

这只是一个大致的过程，可以看出，我们关键要解决的问题就是如何进行特征选择。在引论中我们给出了两个概念，信息增益和信息增益比。他们都可以作为特征选择的标准。

1. ID3算法

ID3算法使用信息增益作为特征选择的标准。在选择的过程中，分别对每个特征计算信息增益，选择信息增益最大的作为当前节点特征，并由它的不同取值建立叶节点。然后再对叶节点递归使用这个方法，直到所有的特征信息增益很小或者没有可选特征为止。

给定数据集$D$，特征集$A$，阈值$\epsilon$，生成决策树$T$。具体过程如下，：

1. 如果$D$中所有样本属于同一类别$C_k$，那么决策树$T$是一棵单节点树，将$C_k$作为节点标记，并返回$T$.
2. 如果$A=\varnothing$，则$T$是单节点树，并将$D$中数目最多的那一类$C_k$作为节点标记，返回$T$.
3. 否则，计算各特征对$D$的信息增益，选择信息增益最大的特征$A_g$.
4. 如果$A_g$的信息增益小于$\epsilon$，那么$T$是单节点树，并将$D$中数目最多的那一类$C_k$作为节点标记，返回$T$.
5. 否则，对$A_g$的每一个可能值$a_i$，依$A_g=a_i$将$D$划分成若干非空子集$D_i$，将$D_i$中样本数最大的类作为标记，建立子节点。由节点以及其父节点构成树$T$，返回$T$.
6. 对第$i$个子节点，以$D_i$为训练集，以$A-A_g$为特征集，重复上面步骤，得到子树$T_i$，并返回。

关于“并将$D$中数目最多的那一类$C_k$作为节点标记”：如果特征$A$只有两类，0和1，那么我们根据0和1将数据集划分后，得到$D_0$和$D_1$，很自然的$D_0$中包含的是特征为0的样本，$D_1$中是包含特征为1的样本。

2. 作业演示

我们以如下数据集为例，使用ID3算法构建决策树

数据集 D = { ( x ( 1 ) , y ( 1 ) ) , . . . ( x ( 14 ) , y ( 14 ) ) } D=\{(x^{(1)},y^{(1)}),...(x^{(14)},y^{(14)})\} D={(x(1),y(1)),...(x(14),y(14))}

特征集 A = { A p p e a r a n c e ( A 1 ) , I n c o m e ( A 2 ) , A g e ( A 3 ) , P r o f e s s i o n ( A 4 ) } A=\{Appearance(A_1), Income(A_2), Age(A_3), Profession(A_4)\} A={Appearance(A1​),Income(A2​),Age(A3​),Profession(A4​)}

类别集合 Y = { − 1 , 1 } Y=\{-1,1\} Y={−1,1}，假设受欢迎为正样本，共9个，负样本为5个

Step1. 计算数据集$D$的经验熵$H(D)$：

$$H(D)=-\frac{9}{14}{\log }_2\frac{9}{14}-\frac{5}{14}{\log }_2\frac{5}{14}=0.940$$

Step2. 计算各个特征对$D$的信息增益

首先是$A_1$，它有3个可能的取值，分别是$D_{A_1}^{(1)}(A_1=Great)=4,D_{A_1}^{(2)}(A_1=Good)=5,D_{A_1}^{(3)}(A_1=Ah)=5$，分别计算这三个取值的信息熵：
$$g(D,A_1)=H(D)-\left[\frac{4}{14}H(D_{A_1}^{(1)})+\frac{5}{14}H(D_{A_1}^{(2)})+\frac{5}{14}H(D_{A_1}^{(3)})\right]$$
$D_{A_1}^{(1)}$中包含4个样本，正样本为4，负样本为0；$D_{A_1}^{(2)}$包含5个样本，正样本为2，负样本为3；$D_{A_1}^{(3)}$包含5个样本，正样本为3，负样本为2：
$$\begin{gathered} H(D_{A_1}^{(1)})=-\frac{4}{4}{\log }_2\frac{4}{4}=0 \\ H(D_{A_1}^{(2)})=-\frac{2}{5}{\log }_2\frac{2}{5}-\frac{3}{5}{\log }_2\frac{3}{5}=0.971 \\ H(D_{A_1}^{(3)})=-\frac{3}{5}{\log }_2\frac{3}{5}-\frac{2}{5}{\log }_2\frac{2}{5}=0.971 \end{gathered}$$
则：
$$g(D,A_1)=H(D)-H(D|A_1)=0.940-0.693=0.246$$
同理，得到：
$$\begin{gathered} g(D,A_2)=H(D)-H(D|A_2)=H(D)-\left[\frac{4}{14}H(D_{A_2}^{(1)})+\frac{6}{14}H(D_{A_2}^{(2)})+\frac{4}{14}H(D_{A_2}^{(3)})\right]=0.029 \\ g(D,A_3)=H(D)-H(D|A_3)=H(D)-\left[\frac{7}{14}H(D_{A_3}^{(1)})+\frac{7}{14}H(D_{A_3}^{(2)})\right]=0.151 \\ g(D,A_4)=H(D)-H(D|A_4)=H(D)-\left[\frac{6}{14}H(D_{A_4}^{(1)})+\frac{8}{14}H(D_{A_4}^{(2)})\right]=0.048 \end{gathered}$$
比较4者，信息增益最大的是$g(D,A_1)$，即把$A_1$特征选择的标准对数据集进行划分。有三个取值，按照Ah，Good，Great将数据集划分成3个子集为$D_1^{\prime },D_2^{\prime },D_3^{\prime }$。他们分别包含的样本是：
D 1 ′ = { 4 , 5 , 6 , 10 , 14 } D 2 ′ = { 1 , 2 , 8 , 9 , 11 } D 3 ′ = { 3 , 7 , 12 , 13 } D'_1=\{4,5,6,10,14\} \\ D'_2=\{1,2,8,9,11\} \\ D'_3=\{3,7,12,13\} D1′​={4,5,6,10,14}D2′​={1,2,8,9,11}D3′​={3,7,12,13}
对这3个子集分别重复上述方法。对$D_1^{\prime }$有：
$$\begin{gathered} H(D_1^{\prime })=-\frac{3}{5}{\log }_2\frac{3}{5}-\frac{2}{5}{\log }_2\frac{2}{5}=0.971 \\ g(D_1^{\prime },A_2)=0.971-0.951=0.020 \\ g(D_1^{\prime },A_3)=0.971-0.951=0.020 \\ g(D_1^{\prime },A_4)=0.971-0=0.971 \end{gathered}$$
所以对Ah这个叶子节点，我们选择Profession，$A_4$这个特征划分。

同理对于Good这个节点的数据集$D_2^{\prime }$：
$$\begin{gathered} H(D_2^{\prime })=-\frac{2}{5}{\log }_2\frac{2}{5}-\frac{3}{5}{\log }_2\frac{3}{5}=0.971 \\ g(D_2^{\prime },A_2)=0.971-0.4=0.571 \\ g(D_2^{\prime },A_3)=0.971-0=0.971 \\ g(D_2^{\prime },A_4)=0.971-0.951=0.020 \end{gathered}$$
对于Good这个叶子节点选择Age，$A_3$作为特征划分。

同理对于Great这个叶子节点的数据集$D_3^{\prime }$，可以看到样本全部都是正样本（长得好看才是王道啊！），所以直接作为叶子节点。

Step3. 建立决策树

$D_1^{\prime }$使用$A_4$划分完成后，正负样本全被分开，都可以直接做为叶子节点了。$D_2^{\prime },D_3^{\prime }$同理。由此可以建立如下决策树：

至此就完成了ID3算法建立决策树的过程。

3. C4.5算法

从ID3算法的过程可以看到，我们选择特征划分的时候，比较倾向于选择数据集中取值较多的特征，特征取值数相同的情况下就选择样本标签较多的特征，这样就会使划分后的数据比较“纯”，分的类别多，那么子节点的纯度也就会更高。

那如果我们选择ID作为特征划分，那么就会把每个样本都分作一类，那么它的增益是多少呢？
$$g(D,ID)=H(D)-H(D|ID)=H(D)-[\frac{1}{14}\ast 0+...+\frac{1}{14}\ast 0]=0.940$$
可见它的增益很大，因为每个样本的编号都不一样，划分后每个叶子节点都只有一个样本，纯度就很高。但是这样的决策树显然没有泛化能力。所以我们又引入了一个新的划分方法，那就是信息增益比，C4.5算法就是使用它来对特征进行划分。

前面我们介绍了信息增益比的计算方法，分母就是特征的固有值(Intrinsic value)，这里我们计算一下编号的固有值：
$$H_{ID}(D)=14\ast \frac{1}{14}{\log }_2\frac{1}{14}=3.807$$
同样，可以得到第一次分裂其他4个特征的固有值：
$$\begin{gathered} H_{A_1}(D)=1.577 \\ {H}_{A_2}(D)=1.557 \\ {H}_{A_3}(D)=1.000 \\ {H}_{A_4}(D)=0.985 \end{gathered}$$
可以看出，信息增益比这个值当特征的取值数目多的时候就会变大，所以它对取值少的特征有所偏好。

C4.5算法并不是直接选择增益率大的特征，而是先从候选特征中找到信息增益高于平均水平的特征，然后从里面选择增益率最高的。

4. CART(Classification And Regression Tree)算法

CART算法建立的决策树能够应用在回归和分类问题上。和使用ID3和C4.5建立的多叉决策树不同，CART算法建立的是二叉树。它不使用特征不同取值对节点进行分裂，而是判断是否满足当前特征，然后划分节点。

4.1 CART分类树

CART分类树使用基尼(Gini)指数来选择最优特征。假设有$K$个类别，样本点属于$K$的概率为$p_k$，则基尼指数定义如下：
$$\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
对于给定的数据集$D$，其基尼指数为：
$$\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2\text{\hspace{1em}(2.1)}$$
$C_k$是属于第$k$类样本点的个数。

如果把$D$按照是否满足特征$A$的某个取值$a$划分成两个子集$D_1,D_2$，那么在特征$A$的条件下，集合$D$的基尼指数就是：
$$\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A)=\frac{|D_1|}{|D|}\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D_1)+\frac{|D_2|}{|D|}\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D_2)\text{\hspace{1em}(2.2)}$$
基尼指数也表示了集合的不确定性，基尼指数越大，集合的不确定性就越大。

算法过程：

• 使用公式(2.1)和(2.2)计算现有特征的基尼指数。对某个特征$A$，计算它的一个取值$a$划分训练集后的基尼指数
• 对所有可能的特征$A$以及所有可能的切分点$a$，选择基尼指数最小的特征及其对应的切分点作为最优特征和最优切分点。根据最优特征和最优切分点划分数据仅
• 递归调用上述步骤，直到满足停止条件。

示例：

以女婿受欢迎与否数据集来演示。对$A_1(Appearance)$，有：
$$\begin{gathered} \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_1=Ah)=\frac{5}{14}\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D_1)+\frac{9}{14}\mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D_2) \\ =\frac{5}{14}(2\times \frac{3}{5}\times (1-\frac{3}{5}))+\frac{9}{14}(2\times \frac{6}{9}\times (1-\frac{6}{9}))=0.457 \end{gathered}$$
同理，计算$A_1$另外两个取值的基尼指数：
$$\begin{gathered} \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_1=Good)=\frac{5}{14}(2\times \frac{2}{5}\times (1-\frac{2}{5}))+\frac{9}{14}(2\times \frac{7}{9}\times (1-\frac{7}{9}))=0.394 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_1=Great)=0.357 \end{gathered}$$
所以可以选择$A_1=0.357$作为$A_1$的最优切分点。对其他几个特征，进行同样过程：
$$\begin{gathered} \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_2=Low)=0.443 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_2=Good)=0.458 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_2=Great)=0.45 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_3=Younger)=0.367 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_3=Older)=0.367 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_4=Unstable)=0.429 \\ \mathrm{G}\mathrm{i}\mathrm{n}\mathrm{i}(D,A_4=Steady)=0.429 \end{gathered}$$
综合上面所有的基尼指数，我们选择最小的。即$A_1$的$Great$取值作为最优切分点。将样本划分后，再次计算最终得到决策树。

4.2 CART回归树

CART回归树使用平方误差最小化来作为节点分裂的标准生成二叉树。假设$X$和$Y$分别为输入和输出变量，其中$Y$是连续变量。我们的目标就是对于$X$中的任意输入特征$A$，使用任意划分点划分数据集得到子集$D_1,D_2$，然后在两个数据集上分别求平方误差，同时使$D_1,D_2$两个集合平方误差最小的划分点作为叶子的最优特征和最优特征划分点。

具体来说，如果假设已经将特征空间划分成了$M$个单元$R_1,R_2,...,R_M$，并且在每个单元$R_m$上都有一个固定的输出值$c_m$(可以通过求平均值或者中位数来的得到)，于是回归树的模型就是：
$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)$$
当某个样本属于$R_m$的时候，就输出$c_m$，而不是分类树时输出类别。当特征空间的划分确定时，可以使用平方误差${\sum }_{x_i\in R_m}(y_i-f(x_i){)}^2$来表示回归树的预测误差。所以就可以使用平方误差最小的准则求解每个单元的最优输出。

输出的最优值可以采用$R_m$中所有样本$x_i$对应的输出$y_i$的均值来表示：
$${\hat{c}}_m=\mathrm{a}\mathrm{v}\mathrm{e}(y_i|x_i\in R_m)$$
下面说明如何对特征空间进行划分。选择第$j$个特征取值$x^{(j)}$和它的取值$s$，作为切分变量和切分点，并定义两个区域：
R 1 ( j , s ) = { x ∣ x ( j ) ≤ s } , R 2 ( j , s ) = { x ∣ x ( j ) > s } R_1(j,s)=\{x|x^{(j)}\leq s\},\quad R_2(j,s) = \{x|x^{(j)}\gt s\} R1​(j,s)={x∣x(j)≤s},R2​(j,s)={x∣x(j)>s}
这里需要说明的是，$x^{(j)}$是特征空间某一特征的取值。然后我们就可以根据上式寻找最优的切分特征和切分点。只需要求解：
$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]$$
然后就可以得到最优切分点$s$，得到了切分后两个节点的输出。

算法过程：

在特征空间中将每个区域递归地划分两个两个子区域并确定子区域上的输出值，构建二叉决策树。

• 选择最优切分变量和最优切分点，求解：
  $$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]$$
  选择使上式达到最小的切分变量和切分点，也就是$(j,s)$.

• 对上述得到的$(j,s)$进行划分得到两个区域和输出值：
  R 1 ( j , s ) = { x ∣ x ( j ) ≤ s } , R 2 ( j , s ) = { x ∣ x ( j ) > s } c ^ m = 1 N m ∑ x i ∈ R m ( j , s ) y i , x ∈ R m R_1(j,s)=\{x|x^{(j)}\leq s\},\quad R_2(j,s) = \{x|x^{(j)}\gt s\} \\ \hat c_m=\frac1{N_m}\sum_{x_i\in R_m(j,s)}y_i,\quad x\in R_m R1​(j,s)={x∣x(j)≤s},R2​(j,s)={x∣x(j)>s}c^m​=Nm​1​xi​∈Rm​(j,s)∑​yi​,x∈Rm​

• 继续对子区域调用上面两个步骤，直到满足停止条件。

算法示例：

以《统计学习方法》习题5.2为例，构建CART决策树：

首先根据给定的输入变量，初始化切分点$s=1.5,2.5,3.5,4.5,6.5,7.5,8.5,9.5$.对各个切分点，求出$R_1,R_2,c_1,c_2$以及切分后的MSE，例如当切分点为$s=2.5$时， R 1 = { 1 , 2 } , R 2 = { 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 } R_1=\{1,2\},R_2=\{3,4,5,6,7,8,9,10\} R1​={1,2},R2​={3,4,5,6,7,8,9,10}，那么求得$c_1,c_2$为：
$$\begin{gathered} c_1=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i=\frac{1}{2}\sum _{x_i\in R_1(1,2.5)}(4.50+4.75)=4.63 \\ {c}_2=\frac{1}{8}\times (4.91+5.34+5.80+7.05+7.90+8.23+8.70+9.00)=7.12 \\ mse(s)=(4.50-4.63{)}^2+(4.75-4.63{)}^2+(7.12-4.91{)}^2+...+(7.12-9.00{)}^2=17.70 \end{gathered}$$
依次进行下去，得到$s$和$mse(s)$的计算结果：

当$s=5.5$时， R 1 = { 1 , 2 , 3 , 4 , 5 } , R 2 = { 6 , 7 , 8 , 9 , 10 } R_1=\{1,2,3,4,5\},R_2=\{6,7,8,9,10\} R1​={1,2,3,4,5},R2​={6,7,8,9,10}，回归树为：
$$f_1(x)=T_1(x)=\{\begin{array}{l}5.06,x<5.5\\ 8.18,x\ge 5.5\end{array}$$
然后我们可以用$f_1(x)$来计算残差：

然后得到均方误差MSE：
$$L(y,f_1(x))=\sum _{i=1}^{10}(y_i-f_1(x_i){)}^2=3.36$$
后面的步骤和上面相同，只不过采用的是残差来计算。直到均方误差满足要求。

三、决策树剪枝

决策树通过判断特征来递归生成，直到不能继续下去为止。这样产生的决策树对训练集预测通常很准确，但是对测试集没那么准确，容易出现过拟合的现象。在学习中决策树过多考虑到如果将训练样本正确分类，却忽视了模型的复杂度，使学到的模型过于复杂，所以就需要剪枝算法。

决策树的剪枝算法通过最小化决策树的整体损失函数来实现。

1. 剪枝算法

设树$T$的叶节点个数为$|T|$，$t$是其中一个叶节点，包含$N_t$个样本点，其中属于$k$类的样本点有$N_{tk}$个。$H_t(T)$为叶节点$t$的经验熵，$\alpha \ge 0$为参数，那么决策树的整体损失函数可以写成：
$$\begin{gathered} C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T| \\ =\sum _{t=1}^{|T|}{N}_t(-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t})+\alpha |T| \\ =C(T)+\alpha |T| \end{gathered}$$
上式中，$C(T)$表示模型的预测误差，$|T|$表示模型的复杂程度，$\alpha$是超参数，控制两者之间的平衡。

剪枝就是通过控制$\alpha$的取值来对模型进行简化。通常剪枝算法是在决策树建立完成后进行，通过计算每个叶节点的损失函数和回缩到父节点的损失函数，两者比较，如果回缩后损失函数较小，那么就进行剪枝。

2. CART剪枝

CART剪枝的大致过程是：首先使用CART算法建立决策树，然后从决策树的底部叶子节点开始不断剪枝，生成一个子树序列。然后使用交叉验证的方法选择最有子树。

参考：

李航《统计学习方法》，定理以及算法流程来自本书

周志华《机器学习》