统计学习方法 学习记录4

CART算法 

CART，分类与回归树，是一种应用广泛的决策树学习方法。CART由特征选择，树的生成及剪枝组成。

CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。

CART算法由以下两步组成：

1.决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大

2.决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，这时用损失函数最小作为剪枝的标准。

CART生成

回归树与分类树的区别：回归树用于处理连续型的目标变量，即数值型变量；分类树用于处理离散型的目标变量，即类别标签。

回归树的生成

回归树用平方误差最小的准则

1.选择最优切分变量j与切分点s。依次固定每个特征变量，再寻找到最优切分点使得左右两边达到最小。对比每个特征变量的最小值，得出最优的特征变量j。

2.选定最优（j,s)划分区域并决定相应的输出值

3.继续对划分的两个子区域调用步骤1.2，直至满足停止条件

4.将输入空间划分为M个区域，生成决策树。

分类树的生成

分类树的生成选用基尼指数最小化准则选用最优特征。

基尼指数 ：

对于二分类问题，若样本点属于第一个类的概率为p(公式为上公式K=2得出）

对于给定的样本集合D，基尼指数为

如果样本集合D根据特征A是否去某一可能值a被分割成D1 D2，则在特征A的前提下，集合D的基尼指数为：

基尼指数Gini(D)表示集合D的不确定性，基尼指数Gini(D,A)表示经A=a后集合D的不确定性。基尼指数越大，样本集合的不确定性也越大。

CART生成算法

1.计算现有特征对该数据集的基尼指数。对每一个特征A，对其可能取得每个值a(特征天气，天气有阴天，晴天，雨天）,根据样本点对A=a的测试为“是”，“否”将D分成两个部分D1 D2。计算A=a时的基尼指数。

2.在所有可能的特征A以及他们所有可能的切分点a中，选择基尼指数最小的特征，及其对应的切分点作为最优特征、切分点。根据此时选择的最优特征、切分点，从现结点分成两个子结点，将训练数据集按照特征分配到两个子结点中。

3.对两个子结点递归地调用步骤1 2，直至满足停止条件

4.生成CART决策树。

算法停止条件是结点中的样本个数小于预定阙值，或样本集的基尼指数小于预定阙值，或没有更多特征。

CART剪枝

1.剪枝，形成一个子树序列。

计算子树的损失函数：

T为任意子树，C(T）是对训练数据集的预测误差，|T|子树的叶结点个数，为参数，大于等于0；是参数为的子树T的整体损失。

从整体树T0开始剪枝，对其任意内部结点t，以t为单结点的损失函数是（剪枝后）

以t为根结点的子树Tt的损失函数为（剪枝前）

当增大到一个值，，此时剪枝前后具有相同损失函数值，而剪枝后t的结点少，所以更好。

对每一个内部结点t都计算

它表示剪枝后整体损失函数减少的程度，在T0中减去g(t)最小的Tt,得到的子树称为T1，同时将最小的g(t)设为.，T1为[,]的最优子树。直到得到根节点。

2.在剪枝得到的子树序列T0,T1``````,Tn中通过交叉验证选取最优子树

测试子树序列中各棵子树的平方误差或基尼指数，取最小的决策树作为最优的决策树。最优子树确定，则对应也确定。