李宏毅机器学习10（CART）

回归树

回归树和分类树都是决策树的一种，但是回归树用平方误差最小化准则进行特征选择，来生成二叉树，而分类树则是用基尼指数(Gini index)最小化准则

回归树生成

假设X与Y分别为输入和输出变量，并且Y是连续变量，在给定训练数据集
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } D=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
在这个条件下，看看如何生成回归树。
一个回归树对应着输入空间的一个划分以及在划分的单元上的输出值。假设划分的单元是$R_1$到$R_M$，并且每个单元的输出值是固定的输出值$c_m$，那么回归树模型的表示如下
$$f(x)=\sum _{m=1}^M{c}_{m}I\left(x\in R_m\right)$$
然后可以用平方误差最小的准则来求解每个单元上的最优输出值。易知，单元$R_m$上的$c_m$的最优值${\hat{c}}_m$是$R_m$上的所有输入实例$x_i$对应的输出$y_i$的均值，即
$${\hat{c}}_m=\mathrm{ave}\left(y_i|x_i\in R_m\right)$$
然后采用启发式方法来对输入空间划分，选择第j个变量$x^{(j)}$和它取的值s，作为切分变量和切分点，并定义两个区域：
$$R_1(j,s)=\left\{x|x^{(j)}⩽s\right\}和R_2(j,s)=\left\{x|x^{(j)}>s\right\}$$
然后寻找最优切分变量j和最优切分点s。具体地，求解
$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_k\in R_2(J,s)}{\left(y_i-c_2\right)}^2\right]$$
对固定输入变量j可以找到最优切分点s。
$${\hat{c}}_1=\mathrm{ave}\left(y_i|x_i\in R_1(j,s)\right)和{\hat{c}}_2=\mathrm{ave}\left(y_i|x_i\in R_2(j,s)\right)$$
遍历所有输入变量，找到最优的切分变量j，构成一个对（j, s）。以此将输入空间划分为两个区域。接着对每个区域重复上述划分过程，直到满足停止条件为止。这样就生成一课回归树。这生成的回归树也称为最小二乘回归树。

分类树

分类树则是用基尼指数(Gini index)最小化准则进行特征选择，来生成二叉树

基尼指数

分类问题中，假设有K个类，样本点属于第k类的概率为$p_k$，则概率分布的基尼指数定义为：
$$\mathrm{Gini}(p)=\sum _{k=1}^K{p}_k\left(1-p_k\right)=1-\sum _{k=1}^K{p}_k^2$$
对于二类分类问题，若样本点属于第1个类的概率是p，则概率分布的基尼指数为
$$Gini(p)=2p(1-p)$$
对于给定的样本集合D，其基尼指数为：
$$\mathrm{Gini}(D)=1-\sum _{k=1}^K{\left(\frac{\left|C_k\right|}{|D|}\right)}^2$$
这里，$c_k$是D中属于第k类的样本子集，K是类的个数。
如果样本集合D根据特征A是否取某一可能值a被分割成$D_1$和$D_2$两部分，即
D 1 = { ( x , y ) ∈ D ∣ A ( x ) = a } , D 2 = D − D 1 D_{1}=\{(x, y) \in D | A(x)=a\}, \quad D_{2}=D-D_{1} D1​={(x,y)∈D∣A(x)=a},D2​=D−D1​
则在特征A的条件下，集合D的基尼指数定义为：
$$\mathrm{Gini}(D,A)=\frac{\left|D_1\right|}{|D|}\mathrm{Gini}\left(D_1\right)+\frac{\left|D_2\right|}{|D|}\mathrm{Gini}\left(D_2\right)$$
基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经A = a 分割后集合D的不确定性。基尼指数值越大，样本集合的不确定性也就越大，和熵类似。

树的剪枝

对于CART(就是分类树和回归树)剪枝，就是从“完全生长”的决策树的底端剪去一些子树，使决策树变小(模型变简单)，从而能够对未知数据有更准确的预测。步骤由两步：首先从生成算法产生的决策树$T_0$底端开始不断剪枝，直到$T_0$的根节点，形成一个子树序列$T_0,T_1,...,T_n$；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。
具体步骤如下：
输入：CART算法生成的决策树$T_0$;
输出：最优决策树$T_{\alpha }$
(1)设k=0， T = $T_0$.
(2)设$\alpha =+\infty$.
(3)自下而上地对各内部结点t计算$C(T_t)$，$\left|T_t\right|$以及
$$\begin{array}{c}g(t)=\frac{C(t)-C\left(T_t\right)}{|T_t|-1}\\ \alpha =\min (\alpha ,g(t))\end{array}$$
这里，$T_t$表示以t为根节点的子树，$C(T_t)$是对训练数据的预测误差，$\left|T_t\right|$是$T_t$的叶结点个数。
(4)自上而下地访问内部结点t，如果有g(t) = $\alpha$，进行剪枝，并对叶结点t以多数表决法决定其类，得到树T。
(5)设$k=k+1,{\alpha }_k=\alpha ,T_k=T$。
(6)如果T不是由根节点单独构成的树，则回到步骤(4)。
(7)采用交叉验证法在子树序列$T_0,T_1,\cdots ,T_n$中选取最优子树$T_{\alpha }$。