《统计学习方法》笔记--CART算法

  分类与回归树（classification and regression tree, CART），既可以用于分类也可以用于回归。它是在给定输入随机变量$X$条件下输出随机变量$Y$的条件概率分布的学习方法。CART 假设决策树时二叉树，内部结点特征的取值为“是”和“否，左分支是取值为“是”的分支，右分支为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间（特征空间）划分为有限个单元，并在这些单元上确定预测的概率分布，也就是给定条件下输出的条件概率分布。
  CART算法由以下两步组成：

1. 决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；
2. 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

CART生成

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

1. 回归树的生成

   假设$X$与$Y$分别为输入和输出变量，并且$Y$是连续变量，给定训练数据集
$$D=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$$
考虑如何生成回归树。
  当输入空间的划分确定时，可以用平方误差$\sum _{x_i\in R_m}(y_i-f(x_i){)}^2$表示训练数据的预测误差，用平方误差最小的准则求解每个单元山最优输出值。易知，单元$R_m$上输出值$c_m$中的最优输出值${\overline{c}}_m$是$R_m$上的所有输入实例$x_i$对应的输出$y_i$的均值 。即
$${\overline{c}}_m=ave(y_i|x_i\in R_m)$$
   采用启发式方法，选择第$j$个变量$x^{(j)}$和它的取值$s$,作为切分变量和切分点，并定义两个区域：
R 1 ( j , s ) = { x ∣ x ( j ) < = s } 和 R 2 ( j , s ) = { x ∣ x ( j ) > s } R_1(j, s)=\{x|x^{(j) }<= s\} 和 R_2(j, s)=\{x|x^{(j)}>s\} R1​(j,s)={x∣x(j)<=s}和R2​(j,s)={x∣x(j)>s}
然后寻找最优切分变量$j$和最有切分点$s$,具体地，求解
$$\underset{j,s}{m}in[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
对固定输入变量$j$可以找到最优切分点$s$.
$\overline{c_1}=ave(y_i|x_i\in R_1(j,s))和\overline{c_2}=ave(y_i|x_i\in R_2(j,s))$
遍历所有输入变量，找到最优的切分变量$j$， 构成一个对$(j,s)$. 依次将输入空间划分为两个区域。接着，对每个区域重复上述划分过程，直到满足条件为止。这样就生成一棵回归树，这样的回归树称为最小二乘回归树。

2.分类树的生成

  分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点。
   分类问题中，假设有$K$个类，样本点属于第$k$类的概率为$p_k$，则概率分布的基尼指数定义为
$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
  对于给定的样本集合$D$，其基尼指数为
$$Gini(D)=1-\sum _{k=1}^K(\frac{|C_k|}{|D|}{)}^2$$
这里，$C_k$是$D$中属于第$k$类的样本子集，$|C_k|$表示集合$C_k$的样本数量，同理$|D|$。$K$是类的个数。
  如果集合$D$根据特征$A$是否取某一可能值$a$被分割成$D_1$和$D_2$两个子集，则在特征$A$的条件下，集合$D$的基尼指数定义为
$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$
基尼指数$Gini(D)$表示集合$D$的不确定性，基尼指数$Gini(D,A)$表示经$A=a$分割后集合$D$的不确定性。基尼指数越大，样本集合的不确定性也就越大。
  根据训练数据集，从根结点开始，递归地对每个结点进行以下操作：
  （1）设结点的训练数据集为$D$，计算现有特征对该数据集的基尼指数，此时，对每一个特征$A$，对其可能取得每个值$a$，根据样本点对$A=a$的测试为“是”或“否”将$D$分割成$D_1$和$D_2$两部分，计算$A=a$时的基尼指数。
  （2）在所有可能的特征$A$以及它们所有可能的切分点$a$中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
  （3）对两个子结点递归地调用(1),(2), 直到满足停止条件
算法停止条件是结点的样本个数小于预定阈值或样本集的基尼指数小于预定阈值（基本属于同一类），或者没有更多特征。

剪枝

  CART剪枝算法由两步组成：

1. 从生成算法产生的决策树$T_0$底端开始不断剪枝，直到$T_0$的根结点，形成一个子树序列$T_0,T_1,T_2,...,T_n$;
2. 然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

剪枝，形成子树序列

  在剪枝过程中，计算子树的损失函数：
$$C_{\alpha }(T)=C(T)+\alpha |T|$$
其中，$T$为任意子树，$C(T)$为对训练数据的预测误差（如基尼指数），|T|为子结点个数，$\alpha >=0$为用于权衡训练数据的拟合程度与模型的复杂度。$C_{alpha}(T)$是参数为$\alpha$时的子树$T$的整体损失。
  对固定的$\alpha$，一定存在使损失函数$C_{\alpha }(T)$最小的子树，将其表示为$T_{\alpha }$.从整体树$T_0$开始剪枝，对$T_0$的任意内部结点$t$，以$t$为单结点树的损失函数是
$$C_{\alpha }(t)=C(t)+\alpha$$
以$t$为根结点的子树$T_t$的损失函数是
$$C_{\alpha }(T_t)=C(T_t)+\alpha |T_t|$$
当$\alpha =0$及$\alpha$充分小时，有不等式
$$C_{\alpha }(T_t)<C_{\alpha }(t)$$
当$\alpha$增大时，在某一$\alpha$有
$$C_{\alpha }(T_t)=C_{\alpha }(t)$$
只要$\alpha =\frac{C(t)-C(T_t)}{|T_t|-1}$, $T_t$与$t$有相同的损失函数值，而$t$比$T_t$更可取，对$T_t$进行剪枝。
**对$T_0$中的每一内部结点$t$，计算
$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$
它表示剪枝后整体损失函数减少的程度。在$T_0$中剪去$g(t)$最小的$T_t$,将得到的子树作为$T_1$，同时将最小的$g(t)$设为${\alpha }_1$。$T_1$为区间$[{\alpha }_1,{\alpha }_2)$的最优子树。如此剪枝下去，直到根结点。
**

在剪枝得到的子树序列中通过交叉验证选取最优子树

   利用独立的验证数据集，测试子树序列$T_0,T_1,...,T_n$中各颗子树的平方误差或基尼指数，平方误差或基尼指数最小的决策树被认为是最优的决策树。

参考：
《统计学习方法》李航