决策树（三）：CART算法

CART（分类与回归树），也就是说CART算法既可以用于分类，也可以用于回归，它是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法，其也和回归树一样是二叉树。

是CART算法，也是分为：特征选择，树的生成，树的剪枝。其实感觉前两步可以合并为一步，因为树的生成过程中就是不断的进行特征的选择。

李航《统计学习方法》中说，决策树生成阶段，生成的决策树要尽可能的大，也就是生成阶段，模型要复杂。为什么这么说，我觉得因为后面还是剪枝的过程，在复杂的模型上剪枝优化得到最优模型，这是最合理也是最有可能得到最优模型的方式。

1.回归树的生成

回归树的生成方式可以参考我的另一篇文章《决策树（二）：回归树和模型树》中的回归树的生成方式，这里不再赘述。

2.分类树的生成

CART算法生成的是二叉树，而分类树适用的是标称型数据，每个特征有好多个特征值，所以怎么生成二叉树是个问题。之前计算分类树某个节点的划分标准的时候是计算某个特征的信息增益，而CART中计算每个特征值的基尼系数，找出基尼系数最小的，即选择最优特征，作为划分值，等于那个特征对应的特征值放到左子树，其余的放到右子树。

假设有K个分类，样本点数据第k类的概率为pk，则概率分布的基尼指数