特征:
注意:普通的DT可以多分叉,CART是二叉树
离散:DT就正常分,CART采用二分类,对于每个类别选择一个离散值,其余的合到一组(是/否分类思想)
连续:都是采用二分,取值分成<=&>两部分
输出
离散:分类问题,GINI系数,信息增益
连续:回归问题,采用min(两部分平方误差)
CART连续特征:
比如m个样本的连续特征A有m个,从小到大排列为a1,a2,…,am,则CART算法取相邻两样本值的中位数,一共取得m-1个划分点,其中第i个划分点表示Ti表示为:Ti=ai+ai+12。
对于这m-1个点,分别计算以该点作为二元分类点时的基尼系数。选择基尼系数最小的点作为该连续特征的二元离散分类点。比如取到的基尼系数最小的点为at,则小于at的值为类别1,大于at的值为类别2,这样我们就做到了连续特征的离散化。要注意的是,与离散属性不同的是,如果当前节点为连续属性,则该属性后面还可以参与子节点的产生选择过程。
比如当前层采用的4.5作为划分,下一层可以采用2.3进行划分
CART离散特征:
对于CART分类树离散值的处理问题,采用的思路是不停的二分离散特征。
RF
基于CART,按基学习器是分类还是回归来决定RF是分类还是回归
分类:
所有CART分类的投票结果作为最后结果(GINI标准)
回归:
所有CART回归的平均值(最小方差)
超参数:
随机森林需要调整的参数有:
(1) 决策树的个数
(2) 特征属性的个数
(3) 递归次数(即决策树的深度)