第五章 决策树2

CART 分类回归树 （Classification and regression tree）

CART是决策树的一种，递归地二分每个特征，生成树为二叉树。
对回归树用平方误差最小化准则；
对分类树用基尼指数最小化准则。

回归树

假设回归树已将输入空间划分为M个单元$R_1,R_2,...R_M$,并且在每个单元$R_m$上有一个输出值$c_m$,
$c_m$是$R_m$上所有输入实例$x_i$对应的输出$y_i$的均值。
回归树模型可以表示如下

$$f(x) = \sum_{m=1}^Mc_mI(x \in R_m)$$

如何划分

最小化平方误差准则
选择最优的特征$x^{(j)}$和它的取值$s$。

$$\min \limits_{j,s}[\min \limits_{c_1} \sum_ \limits{x_i\in R_1}(y_i-c_1)^2+\min \limits_{c_2} \sum_ \limits{x_i\in R_2}(y_i-c_2)^2]$$

$$R_1(j,s)=\{x|x^{(j)} \le s\}, R_2(j,s)=\{x|x^{(j)} > s\}$$
遍历j,遍历s,找到最小的 $(j,s)$。
对划分出的子区域继续调用。
停止条件?

分类树

数据集D根据特征A是否取某一个可能值$a$被分割成$D_1$,$D_2$。
则在特征A的条件下，集合D的基尼指数定义为

$$Gini(D,A) = \frac{|D_1|}{{|D|}}Gini(D_1)+\frac{|D_2|}{{|D|}}Gini(D_2)$$
类似 条件熵
$$H(D|A) = \sum_ \limits{i=1}^n{\frac{|D_i|}{|D|}H(D_i)}$$
n是A的取值个数。
信息增益最大等价条件熵最小
分类树的目标——基尼指数最小。
遍历特征A，遍历可能取值a,找到最小的基尼指数对应的 $(A,a)$
停止条件
节点中的样本个数小于预定阈值，
或者样本集的基尼指数小于预定阈值（样本基本属于同一类），
或者没有更多的特征。

CART剪枝

未完

决策树之间的比较

这个博客写的很好
http://www.cnblogs.com/pinard/p/6050306.html
http://www.cnblogs.com/pinard/p/6053344.html