数据挖掘十大经典算法(10) CART

分类回归树(CART,Classification And Regression Tree)也属于一种决策树， 分类回归树是一棵二叉树，且每个非叶子节点都有两个孩子，所以对于第一棵子树其叶子节点数比非叶子节点数多1。 

决策树生长的核心是确定决策树的分枝准则。 
1、 如何从众多的属性变量中选择一个当前的最佳分支变量； 
也就是选择能使异质性下降最快的变量。 
异质性的度量：GINI、TWOING、least squared deviation。 
前两种主要针对分类型变量，LSD针对连续性变量。 
代理划分、加权划分、先验概率 
2、 如何从分支变量的众多取值中找到一个当前的最佳分割点（分割阈值）。 
(1) 分割阈值： 
 A、数值型变量——对记录的值从小到大排序，计算每个值作为临界点产生的子节点的异质性统计量。能够使异质性减小程度最大的临界值便是最佳的划分点。 
 B、分类型变量——列出划分为两个子集的所有可能组合，计算每种组合下生成子节点的异质性。同样，找到使异质性减小程度最大的组合作为最佳划分点。 
   

在决策树的每一个节点上我们可以按任一个属性的任一个值进行划分。 按哪种划分最好呢？有3个标准可以用来衡量划分的好坏：GINI指数、双化指数、有序双化指数。

终止条件：

一个节点产生左右孩子后，递归地对左右孩子进行划分即可产生分类回归树。这里的终止条件是什么？什么时候节点就可以停止分裂了？ 

满足以下一个即停止生长。 
（1） 节点达到完全纯性； 
（2） 数树的深度达到用户指定的深度； 
（3） 节点中样本的个数少于用户指定的个数； 
（4） 异质性指标下降的最大幅度小于用户指定的幅度。 

剪枝

当分类回归树划分得太细时，会对噪声数据产生过拟合作用。因此我们要通过剪枝来解决。剪枝又分为前剪枝和后剪枝：前剪枝是指在构造树的过程中就知道哪些节点可以剪掉，于是干脆不对这些节点进行分裂，在N皇后问题和背包问题中用的都是前剪枝，上面的χ2方法也可以认为是一种前剪枝；后剪枝是指构造出完整的决策树之后再来考查哪些子树可以剪掉。 
在分类回归树中可以使用的后剪枝方法有多种，比如：代价复杂性剪枝、最小误差剪枝、悲观误差剪枝等等。这里我们只介绍代价复杂性剪枝法。 

预测 
回归树——预测值为叶节点目标变量的加权均值 
分类树——某叶节点预测的分类值应是造成错判损失最小的分类值。