CART分类回归_对离散型和连续型特征列的选择

CART分类回归树

分类与回归树是二叉树，可以用于分类，也可以用于回归问题。
区别：分类树输出的是样本的类别， 而回归树输出的是一个实数。

对离散型和连续型特征列的选择

一、CART分类树（待预测结果为离散数据）：
选择具有最小Gain_GINI的属性及其属性值，作为最优分裂属性以及最优分裂属性值。Gain_GINI值越小，说明二分之后的子样本的“纯净度”越高，即说明选择该属性（值）作为分裂属性（值）的效果越好。
实现过程：

1. 对于样本集S，计算GINI如下：
   
   其中，在样本集S中，pk表示分类结果中第k个类别出现的频率；
2. 对于含有N个样本的样本集S，根据属性A的第i个属性值，将数据集S划分成两部分，则划分成两部分之后，Gain_GINI计算如下：
   
3. 对于属性A，分别计算任意属性值将数据集划分成两部分之后的Gain_GINI，选取其中的最小值，作为属性A得到的最优二分方案；
4. 对于样本集S，计算所有属性的最优二分方案，选取其中的最小值，作为样本集S的最优二分方案：所得到的属性A及其第i属性值࿰