决策树(中):CART,一颗是回归树,另一颗是分类树
基于信息度量的不同方式,把决策树分为ID3算法、C4.5算法和CART算法,CART算法叫做分类回归树,ID3和C4.5算法可以生成二叉树或多叉树,而CART只支持二叉树,既可以作分类树,又可以作回归树
什么是分类树?什么是回归树?
能看到不同职业的人,年龄也不同,学习时长也不同,如果构造一颗决策树,想要基于数据判断这个人职业身份,就属于分类树,因为是从几个分类中来做选择,如果给定了数据,想要预测这个人的年龄,那就属于回归树。
所谓分类树就是面向分类的,每个决策树最末端的叶子结点出来的是一个分类标签,不是0就是1或者2等类别。回归树就是面向回归的,回归就是拟合函数一样,输出连续值,比如根据一大堆当天的特征输出明天的气温,气温是每个样本唯一输出的值,只不过输出的值根据特征的不一样输出值不一样而已,但是它们输出的意义是一样的,那就是都是气温。
分类树可以处理离散数据,也就是数据种类有限的数据,它输出的是样本的类别,而回归树可以对连续型的数值进行预测,也就是数据在某个区间内都有取值的可能,它输出的是一个数值
CART分类树的工作流程
决策树的核心就是寻找纯净的划分,在属性选择上,通过统计“不纯度”来判断的,ID3是基于信息增益做判断,C4.5在ID3基础上做引进,提出了信息增益率的概念,CART分类树属性选择的指标采用的是基尼系数,基尼系数本身反映了样本的不确定度,当基尼系数越小的时候说明样本之间的差异性小,不确定程度低,分类的过程本身是一个不确定度降低的过程,即纯度提升过程,所以CART算法在构造分类树的时候,会选择基尼系数最小的属性作为属性的划分