CART算法

前言

本文只涉及分类树，而不涉及回归树，本文大部分内容均来自于李航博士的《统计学习方法》，在此基础上增加一些个人理解

正文

分类树假设决策树是一棵二叉树
分类树其实与决策树差不多，不同之处在于特征选择以及树的剪枝

决策树利用信息增益选择最优特征，分类树利用基尼指数选择最优特征

决策树的剪枝是在所生成的决策树递归地进行剪枝，分类树利用$\displaystyle \alpha$的不同取值范围对分类树进行剪枝生成一系列子树，从子树中选取最优解

特征选择

分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点

注：

最优二值切分点

假设一个训练数据集为$\displaystyle D$，特征为$\displaystyle A$，最优二值切分点就是找到一个特征值$\displaystyle A_i$，使得当$\displaystyle A=A_i$时，数据集$\displaystyle D$能够很好的归类

基尼指数

分类问题中，假设有$\displaystyle K$个类，样本点属于第$\displaystyle k$类的概率为$\displaystyle p_k$则概率分布的基尼指数定义为

$$Gini(p)=\sum ^{k}_{k=1}p_{k}\left( 1-p_{k}\right)=1-\sum ^{k}_{k=1}p^{2}_{k}$$
注:
$$\sum ^{k}_{k=1}p_{k}=1$$
对于给定的样本集合 $\displaystyle D$，其基尼指数为
$$Gini(D)=1-\sum ^{k}_{k=1}\left( \dfrac {\left| c_{k}\right| }{\left| D\right| }\right) ^{2}$$
$\displaystyle C_k$是 $\displaystyle D$中属于第 $\displaystyle k$类的样本子集， $\displaystyle K$是类的个数

如果样本集合$\displaystyle D$根据特征$\displaystyle A$是否取某一可能值$\displaystyle a$被分割成$\displaystyle D_1$和$\displaystyle D_2$两部分，即

$$D_1=\left\{ (x,y) \in D|A(x)=a \right\}, \ \ D2=D - D1$$
则在特征 $\displaystyle A$的条件下，集合 $\displaystyle D$的基尼指数定义为
$$Gini(D,A)=\dfrac {\left| D_{1}\right| }{\left| D\right| }Gini(D_1)+\dfrac {\left| D_{2}\right| }{\left| D\right| }Gini(D_2)$$
基尼指数 $\displaystyle Gini(D)$表示集合 $\displaystyle D$的不确定性，基尼指数 $\displaystyle Gini(D,A)$表示经 $\displaystyle A=a$分割后集合 $\displaystyle D$的不确定性. 基尼指数越大，集合的不确定性也越大

CART生成算法

从根节点开始，递归地对每个结点进行一下操作

1. 对于当前集合$\displaystyle D$，计算现有特征对该数据的基尼指数

   注：
   要计算所有特征的所有可能取值对该数据的基尼指数

2. 选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点. 依据最优特征及最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点当中去

3. 对两个子结点递归地调用1，2；直至满足停止条件

分类树的剪枝

分类树利用$\displaystyle \alpha$的不同取值范围对分类树进行剪枝生成一系列子树，从子树中选取最优解

注：
$\displaystyle \alpha$的值是根据计算得来的，而不是随机设定的区域

从整体数$\displaystyle T_0$开始剪枝，对$\displaystyle T_0$的内部任意结点$\displaystyle t$，以$\displaystyle t$为单结点的树的损失函数为

$$C_\alpha(t)=C(t)+\alpha$$
以 $\displaystyle t$为根节点的子树 $\displaystyle T_t$的损失函数是
$$C_\alpha=C(T_t)+\alpha|T_t|$$
当 $\displaystyle \alpha=0$或 $\displaystyle \alpha$很小时，有不等式
$$C_\alpha(T_t)<C_\alpha(t)$$
当 $\displaystyle \alpha$增大时，在某一 $\displaystyle \alpha$处有
$$C_\alpha(T_t)=C_\alpha(t)$$
当 $\displaystyle \alpha$继续增大时，有
$$C_\alpha(T_t)>C_\alpha(t)$$
这时，就可以进行剪枝操作

假设有一棵树$\displaystyle T_0$，对$\displaystyle T_0$中每一内部结点$\displaystyle t$, 计算

$$g\left( t\right) =\dfrac {C\left( t\right) -C\left( Tt\right) }{\left| T_{t}\right| -1}$$
它表示剪枝后整体损失函数减少的程度. 在 $\displaystyle T_0$中减去 $\displaystyle g(t)$最小的 $\displaystyle T_t$，得到的子树作为 $\displaystyle T_1$，同时将最小的 $\displaystyle g(t)$设为 $\displaystyle \alpha_1$. $\displaystyle T_1$为区间 $\displaystyle [\alpha_1, \alpha_2)$的最优子树
对于子树 $\displaystyle T_1$，减去 $\displaystyle g(t)$最小的 $\displaystyle T_t1$，得到的子树作为 $\displaystyle T_2$，同时将最小的 $\displaystyle g(t)$设为 $\displaystyle \alpha_2$， $\displaystyle T_2$为区间 $\displaystyle [\alpha_2, \alpha_3)$的的最优子树
$$...$$

经过上面的操作我们能得到一个子树集合$\displaystyle \left\{T_1, T_2, ...T_n\right\}$，即其对应的$\displaystyle \alpha$值，这样就可以根据交叉验证选取最优子树$\displaystyle T_\alpha$

注：
当$\displaystyle \alpha$的值增大时，为了得到更好的模型，模型的复杂度就会降低（复杂度降低就意味着剪枝），这样从剪枝后的子树集合中选择最好的模型就可以解决过度拟合问题

参考资料

[1]李航.决策树.统计学习方法.2012