提升树实例

提升树（实例）

已知训练数据如上表所示，x的取值范围为区间[0.5,10.5]，y的取值范围为区间[5.0,10.0]，学习这个回归问题的提升树模型，考虑只用树桩作为基函数。

解
  既然是一个提升树, $f_M(x)={\sum }_{m=1}^{M}T(x;{\theta }_m)$,那么第一步需要求$f_1(x)$,即回归树$T_1(x)$,首先通过以下优化问题,
$$\underset{s}{\min }[\underset{e_1}{\min }\sum _{x_i\in R_1}(y_i-c_1{)}^2+\underset{e_2}{\min }\sum _{x_i\in R_2}(y_i-c_2{)}^2]$$
  然后求解训练数据的的切分点S， R 1 = { x ∣ x ≤ s } , R 2 = { x ∣ x > s } R_1=\{x|x≤s\} ,R_2=\{x|x>s\} R1​={x∣x≤s},R2​={x∣x>s},容易求得在$R_1$和$R_2$内部使平方损失误差达到最小值的$c_1$和$c_2$,分别为$c_1=\frac{1}{N_1}{\sum }_{x_i\in R_1}{y}_i$,$c_2=\frac{1}{N_2}{\sum }_{x_i\in R_2}{y}_i$,这里$N_1$，$N_2$是样本个数。
$$m(s)=\underset{e_1}{\min }\sum _{x_i\in R_1}(y_i-c_1{)}^2+\underset{e_2}{\min }\sum _{x_i\in R_2}(y_i-c_2{)}^2$$
  将上面的想法应用到数据上，考虑切分点：1.5，2.5，3.5，4.5，5.5，6.5，7.5，8.5，9.5。
  当s=1.5, $R_1$={1},$R_2$={2,3,4,5,6,7,8,9,10},$c_1$=5.56, $c_2$=7.50, m(s)=0+15.72=15.72；将s和m(s) 计算结果记录。

  由上表可知，当s=6.5时， m(s)达到最小值，此时$R_1$={1,2,3,4,5,6},$R_2$={7,8,9,10},$c_1$=6.24,$c_2$=8.91,所以回归树$T_1(x)=\{\begin{array}{ll}6.24，& x<6.5\\ 8.91，& x\ge 6.5\end{array}$,而$f_1(2)=T_1(x)$,$f_1(x_i)$拟合训练数据的残差$r_{2i}=y_i-f_1(x_i)$,结果如下，

  使用$f_1(x_i)$拟合训练数据的平方损失误差：$L(y,f_1(x))={\sum }_{i=1}^{10}(y_i-f_1(x_i){)}^2=1.93$,以此类推,拟合数据为表中残差。
  以上表残差作为初始数据，重复进行计算，可得$T_2(x)=\{\begin{array}{ll}-0.52，& x<3.5\\ 0.22，& x\ge 3.5\end{array}$,$f_2(x)=f_1(x_i)+T_2(x)=\{\begin{array}{ll}5.72，& x<3.5\\ 6.46，& 3.5\le x<6.5\\ 9.13，& x\ge 6.5\end{array}$,使用$f_2(x_i)$拟合训练数据的平方损失误差：$L(y,f_2(x))={\sum }_{i=1}^{10}(y_i-f_2(x_i){)}^2=0.79$