所谓回归,就是根据特征向量来决定对应的输出值。回归树就是将特征空间划分成若干单元,每一个划分单元有一个特定的输出。因为每个结点都是“是”和“否”的判断,所以划分的边界是平行于坐标轴的。对于测试数据,我们只要按照特征将其归到某个单元,便得到对应的输出值
如现在对一个新的向量(6,6)决定它对应的输出。第一维分量6介于5和8之间,第二维分量6小于8,根据此决策树很容易判断(6,6)所在的划分单元,其对应的输出值为c3.
划分的过程也就是建立树的过程,每划分一次,随即确定划分单元对应的输出,也就多了一个结点。当根据停止条件划分终止的时候,最终每个单元的输出也就确定了,也就是叶结点。
下表为训练数据集,特征向量只有一维,根据此数据表建立回归决策树。
x 1 2 3 4 5 6 7 8 9 10
y 5.56 5.7 5.91 6.4 6.8 7.05 8.9 8.7 9 9.05
在本数据集中,只有一个特征变量,最优切分变量自然是x。接下来考虑9个切分点(切分变量两个相邻取值区间内任一点均可),
根据式(1.2)计算每个待切分点的损失函数值:
损失函数为
其中
当s=1.5时,两个子区域
同理,得到其他各切分点的子区域输出值,列表如下
s 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5 9.5
c1 5.56. 5.63. 5.72. 5.89. 6.07. 6.24. 6.62 6.88 7.11
c2 7.5. 7.73 7.99 8.25 8.54 8.91 8.92 9.03 9.05
计算损失函数值,找到最优切分点
当s=1.5时,
同理,计算得到其他各切分点的损失函数值,列表如下
s. 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5 9.5
L(s). 15.72. 12.07. 8.36. 5.78. 3.91. 1.93. 8.01 11.73 15.74
易知,取s=6.5时,损失函数值最小。因此,第一个划分点为(j=x,s=6.5).后面同理
假设两次划分后即停止,则最终生成的回归树为: