CART剪枝以及决策树剪枝中α相关问题

CART剪枝过程

CART的剪枝过程主要分为两部分，第一部分是剪枝，形成一个子树序列；第二部分是对剪枝得到的子树序列进行交叉验证，选取最优子树。第二部分容易理解，问题在于第一部分如何剪枝。首先介绍如何剪枝，再对其中的细节进行理解。
剪枝过程中所用的损失函数为：
$$C_{\alpha }(T)=C(T)+\alpha |T|$$
其中，$T$为任意子树，$C(T)$为对训练数据的预测误差（如基尼指数、熵等），$|T|$为子树的叶结点个数，$\alpha \ge 0$为参数，$C_{\alpha }(T)$为参数是α时的子树T的整体损失。
从整体树$T_0$开始剪枝，对$T_0$的任意内部结点$t$，以$t$为单结点树的损失函数为
$$C_{\alpha }(t)=C(t)+\alpha$$
以$t$为根结点的子树$T_t$的损失函数为
$$C_{\alpha }(T_t)=C(T_t)+\alpha |T_t|$$
显然，在决策树中，对结点t进一步划分会降低误差，也就是
$$C(t)>C(T_t)$$
而由于划分使得
$$|T_t|>1$$
所以存在某一$\alpha$有
$$C_{\alpha }(T_t)=C_{\alpha }(t)$$
此时
$$\alpha =\frac{C(t)-C(T_t)}{|T_t|-1}$$
所以对于每一个内部结点$t$都有这样一个$\alpha$，令其为
$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$
从$T_0$中选择$g(t)$最小的$T_t$进行剪枝，$g(t)$记为${\alpha }_1$，得到新的子树作为$T_1$，再在$T_1$上计算所有内部结点的$g(t)$，重复上述过程，直到所得子树只有根结点和两个叶结点构成，过程中产生的子树序列$T_1,T_2,\dots ,T_n$对应参数序列${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n$。

Q1：$g(t)$的含义：

$C(t)-C(T_t)$可以理解为在构建决策树的过程中，将单结点t进一步划分后训练数据上的误差下降量，$|T_t|-1$则是进一步划分后决策树增加的结点数。因此，$g(t)$可以理解为将单结点t进一步划分后，平均每个结点带来的误差下降量，即每个结点的误差减小率。

Q2：为什么选择$g(t)$最小的$T_t$进行剪枝？

上一个问题中知道了$g(t)$的含义，另一方面，剪枝的目的在于减小决策树对训练数据的拟合程度，防止过拟合。因此，在尽量简化决策树的条件下，选择每个结点带来的误差下降量最少的子树进行剪枝显然是一个明智之举。也就是说，这个子树带来的“价值”弥补不了带来的“危害”，不如不要。

Q3：剪枝过程中选取的$\alpha$为什么一定是递增的？

《统计学习方法》P72说$0<{\alpha }_1<{\alpha }_2<\cdots <{\alpha }_n<\infty$，而剪枝过程中只选取每一轮算出的最小$g(t)$（即$\alpha$），为何依次选取的$\alpha$一定是递增的呢？这分两种情况：

1. 后一轮选取的剪枝点与前一轮选取剪枝点不在同一支上，则前一轮剪枝不会影响后一轮选中点的$g(t)$（即$\alpha$），该值显然不小于前一轮剪枝点的$g(t)$（即$\alpha$）。如图：
   
2. 后一轮选取的剪枝点与前一轮选取的剪枝点在同一支上，如图：
   
   则第一轮有：（上标表示轮次）
   $$g^1(t_1)=\frac{C(t_1)-C(T_{t_1})}{|T_{t_1}|-1}$$
   $$g^1(t_2)=\frac{C(t_2)-C(T_{t_2}^1)}{|T_{t_2}^1|-1}$$
   第二轮有$$g^2(t_2)=\frac{(C(t_2)-C(T_{t_2}^2))}{(|T_{t_2}^2|-1)}$$
   第一轮的剪枝给第二轮选中点带来的影响可以表示为：$$|T_{t_2}^2|=|T_{t_2}^1|-|T_{t_1}|+1$$
   $$C(T_{t_2}^2)=C(T_{t_2}^1)+(C(t_1)-C(T_{t_1}))$$
   即第一轮剪枝使得以$t_2$为根结点的子树的结点树减少，误差增大。（这很好理解，就是决策树构建的逆过程）
   代入得
   $$g^2(t_2)=\frac{(C(t_2)-C(T_{t_2}^1))-(C(t_1)-C(T_{t_1}))}{(|T_{t_2}^1|-1)-(|T_{t_1}|-1)}$$
   可以看出分子和分母的前一部分分别是$g^1(t_2)$的分子和分母，后一部分分别是$g^1(t_1)$的分子和分母，因为$g^1(t_2)>g^1(t_1)$，所以
   $$g^2(t_2)>g^1(t_2)>g^1(t_1)$$
   （这里可以通过转换为简单的代数问题进行证明，即：假设
   $$e=\frac{b}{a}\ge \frac{c}{d}=f$$
   要证明
   $$\frac{b-c}{a-d}\ge f$$
   证：
   $$\frac{b-c}{a-d}=\frac{ae-df}{a-d}\ge \frac{ae-de}{a-d}=e\ge f$$
   ）
   所以，第二轮选取的剪枝点的$g(t)$（即$\alpha$）不小于第一轮选中的剪枝点的$g(t)$（即α）。

Q4：为什么CART剪枝过程中的子树序列$T_1,T_2,\dots ,T_n$分别是区间$\alpha \in [{\alpha }_i,{\alpha }_{(i+1)})$的最优子树？

对于区间$\alpha \in [{\alpha }_i,{\alpha }_{i+1})$，与当前子树不同有两种情况：

1. 若剪去了$\alpha \ge {\alpha }_{i+1}$的子树$T_t$，有
   $$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}>{\alpha }_i$$
   即
   $$C(t)-C(T_t)>{\alpha }_i(|T_t|-1)$$
   该子树的划分降低的误差量，大于增加结点数带来的损失增量，换句话说就是，这个子树值得保留，剪掉的话会使总体误差增大（这里总体误差公式中的$\alpha \in [{\alpha }_i,{\alpha }_{i+1}$ )）。
2. 若没有剪去了α<α_i的子树T_t，有
   $$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}<{\alpha }_i$$
   即
   $$C(t)-C(T_t)<{\alpha }_i(|T_t|-1)$$
   该子树的划分降低的误差量，小于增加结点数带来的损失增量，换句话说就是，这个子树不值得保留，不剪掉的话会使总体误差增大（这里总体误差公式中的$\alpha \in [{\alpha }_i,{\alpha }_{i+1})$）。

综上，使用$\alpha \in [{\alpha }_i,{\alpha }_{i+1})$剪枝得到的子树$T_i$是该区域对应的最优子树。

Q5：$\alpha$在一般决策树剪枝过程中的意义

在一般的决策树剪枝过程中，$\alpha$是给定的参数，可以认为是自下而上，将平均结点降低误差小于$\alpha$的子树剪去。