决策树-回归问题

所谓回归，就是根据特征向量来决定对应的输出值。回归树就是将特征空间划分成若干单元，每一个划分单元有一个特定的输出。因为每个结点都是“是”和“否”的判断，所以划分的边界是平行于坐标轴的。对于测试数据，我们只要按照特征将其归到某个单元，便得到对应的输出值

 

 

 

如现在对一个新的向量(6,6)决定它对应的输出。第一维分量6介于5和8之间，第二维分量6小于8，根据此决策树很容易判断(6,6)所在的划分单元，其对应的输出值为c3.

划分的过程也就是建立树的过程，每划分一次，随即确定划分单元对应的输出，也就多了一个结点。当根据停止条件划分终止的时候，最终每个单元的输出也就确定了，也就是叶结点。

 

下表为训练数据集，特征向量只有一维，根据此数据表建立回归决策树。

x   1       2          3          4         5        6         7        8      9      10

y 5.56    5.7       5.91      6.4       6.8     7.05     8.9     8.7    9      9.05

在本数据集中，只有一个特征变量，最优切分变量自然是x。接下来考虑9个切分点（切分变量两个相邻取值区间内任一点均可），

根据式(1.2)计算每个待切分点的损失函数值：

损失函数为

 

 

其中 

 

当s=1.5时，两个子区域         

同理，得到其他各切分点的子区域输出值，列表如下

s   1.5          2.5          3.5             4.5            5.5               6.5                7.5              8.5             9.5

c1 5.56.      5.63.         5.72.          5.89.          6.07.            6.24.             6.62             6.88           7.11

c2 7.5.       7.73          7.99           8.25           8.54             8.91              8.92             9.03           9.05

 

计算损失函数值，找到最优切分点

当s=1.5时，    

同理，计算得到其他各切分点的损失函数值，列表如下

s.       1.5      2.5        3.5          4.5          5.5           6.5           7.5             8.5             9.5

L(s).   15.72.  12.07.    8.36.        5.78.       3.91.         1.93.         8.01            11.73           15.74

易知，取s=6.5时，损失函数值最小。因此，第一个划分点为(j=x,s=6.5).后面同理

 假设两次划分后即停止，则最终生成的回归树为： 

 

转载于:https://www.cnblogs.com/diyigechengxu/p/10690621.html