树回归
分类与回归树(classification and regression tree,CART)即可用于分类也可以用于回归,由特征选择、树的生成及剪枝组成,一般简称为决策树。
CART生成
决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则,对分类树用基尼指数(Gini index)最小化准则,进行特征选择,生成二叉树。
回归树的生成
回归树用平方误差最小化准则,所以又称它为最小二乘回归树。
最小二乘回归树生成算法
输入:训练数据集 D D D;
输出:回归树 f ( x ) f(x) f(x)。
在训练数据集所在的输入空间,递归将每个区域划分为两个子区域并决定每个子区域上的输出值,构建二叉决策树;
(1)选择最优切分变量 j j j与切分点 s s s,求解:
min j , s [ ∑ x i ∈ R 1 ( j , s ) ( y i − c 1 ) 2 + ∑ x i ∈ R 2 ( j , s ) ( y i − c 2 ) 2 ] (5.12) c 1 = a v e ( y i ∣ x i ∈ R 1 ( j , s ) ) c 2 = a v e ( y i ∣ x i ∈ R 2 ( j , s ) ) \begin{array}{ll} \min_{j,s} \left[\sum_{x_i \in R_1(j,s)}(y_i - c_1)^2 + \sum_{x_i \in R_2(j,s)}(y_i - c_2)^2 \right] \qquad \qquad \text{(5.12)}\\[2ex] c_1 = ave(y_i | x_i \in R_1(j,s)) \\[2ex] c_2 = ave(y_i | x_i \in R_2(j,s)) \end{array} minj,s[∑xi∈R1(j,s)(yi−c1)2+∑xi∈R2(j,s)(yi−c2)2](5.12)c1=ave(yi∣xi∈R1(j,s))c2=ave(yi∣xi∈R2(j,s))遍历变量 j j j,对固定的切分变量 j j j扫描切分点 s s s,选择使式(5.21)达到最小值得对 ( j , s ) (j,s) (j,s)。
(2)用选定的对 ( j , s ) (j,s) (j,s)划分区域并决定相应的输出值
R 1 ( j , s ) = { x ∣ x ( j ) ⩽ s } R 2 ( j , s ) = { x ∣ x ( j ) > s } c ^ m = 1 N m ∑ x i ∈ R m ( j , s ) y i , x ∈ R m , m = 1 , 2 \begin{array}{ll} R_1(j,s)=\{x|x^{(j)} \leqslant s\}\\[2ex] R_2(j,s)=\{x|x^{(j)} \gt s\} \\[2ex] \hat c_m = \frac1{N_m}\sum_{x_i \in R_m(j,s)}y_i, \quad x \in R_m, \quad m=1,2 \end{array} R1(j,s)={
x∣x(j)⩽s}R2(j,s)={
x∣x(j)>s}c^m=Nm1∑xi