提升树算法实例

按照如图拟合一颗回归树。

一直觉得书上的话语说的不够通俗，可能会让很多刚入门的同学看不懂（我自己是这样），现在看明白了记录一下。
首先初始化fx0：选择决策的最优切分点s，由优化问题
给出。
s的取值区间为为[1.5,9.5]
这里对于每一个s的取值，求出对应的m(s)，在选取使平方误差最小的s作为切分点,计算c1和c2得到了f0x。
用此时得到的模型求残差得到残差表


。接下来书中说的是用残差拟合回归树，一开始看不明白这句是什么意思。其实就是把残差当作第一个图中的y，再重复进行上述步骤，得到新的c1和c2，得到了T(x),则此时的到新的树模型fi(x)=fi-1(x)+T(x).这里i为下标。