CART算法介绍:
分类和回归树(CART)是应用广泛的决策树学习方法。CART同样由特征选择,树的生成和减枝组成,既可以用于分类也可以用于回归。CART的生成就是递归的构建二叉决策树的过程。对回归树用平方误差最小化(RMSE),对分类树用基尼指数最小化准则,进行特征选择,生成二叉树。
1.回归树生成的算法介绍
输入:训练数据集D
输出:回归树f(x)
在训练数据集所在的输入空间中,递归的将每个区域划分为两个子区域并决定每个子区域的输出值,构造二叉树:
(1) 选择最优切分特征f和切分点s,求解
遍历变量j,对固定特征f扫描切分点,使公式达到最小
(2)用选定的特征f和切分点s划分区域,并决定输出值:
每个区域的输出值等于属于该区域的目标值的均值
(3)继续对两个子区域调用步骤(1)(2),知道瞒住停止条件
(4)将输入空间划分成M个区域,生成决策树
2,分类树生成的算法介绍
分类树是用基尼指数选择最优特征,同时决定该特征的最优切分点。
(基尼指数) 分类问题中,假设有K个类,样本点属于第k个类的概率为pk,则概率分布的基尼指数定义为&