机器学习算法之CART（分类和回归树）

CART算法介绍：
分类和回归树（CART）是应用广泛的决策树学习方法。CART同样由特征选择，树的生成和减枝组成，既可以用于分类也可以用于回归。CART的生成就是递归的构建二叉决策树的过程。对回归树用平方误差最小化（RMSE），对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

1.回归树生成的算法介绍
输入：训练数据集D
输出：回归树f(x)
在训练数据集所在的输入空间中，递归的将每个区域划分为两个子区域并决定每个子区域的输出值，构造二叉树：
（1) 选择最优切分特征f和切分点s，求解

遍历变量j，对固定特征f扫描切分点，使公式达到最小

（2）用选定的特征f和切分点s划分区域，并决定输出值：
每个区域的输出值等于属于该区域的目标值的均值

（3）继续对两个子区域调用步骤（1）（2），知道瞒住停止条件
（4）将输入空间划分成M个区域，生成决策树

2，分类树生成的算法介绍
分类树是用基尼指数选择最优特征，同时决定该特征的最优切分点。
（基尼指数） 分类问题中，假设有K个类，样本点属于第k个类的概率为pk，则概率分布的基尼指数定义为&