在上一篇文章中,我们用残差向量
本节考虑使用符号向量
我们继续使用租金预测的例子解释模型的训练过程,这里记所得梯度提升模型为 MAE GBM。
第一步:用中值(median)进行初始化:因为中值能近似最小化
![6b6e603ee842b8af2730b89f2e399547.png](https://i-blog.csdnimg.cn/blog_migrate/1537f6d4a1f2b931bf5992865c520ee9.png)
上图中右子图蓝点表示样本点,红色表示符号向量,它给出了真实值的方向,但并未指定尺度。
第二步:我们需要用
![895cf6161a9f391efa4b3370565bc4d9.png](https://i-blog.csdnimg.cn/blog_migrate/e724f579a4962d3fe4a207ebb48e4b69.png)
如果我们直接使用上述
![70ba69b8557791479f8623899963bf4f.png](https://i-blog.csdnimg.cn/blog_migrate/43a549f71f55fc5f7943f5a36dbc0241.png)
这里我们稍微回想下 MSE GBM 的弱学习器的树模型,它的叶子节点虽然取的是残差的均值,但是从数学上也可以表示为符号值 +1 或 -1 乘以残差的均值后所得的。
回到正题,那我们该怎么做呢?因为我们只利用方向信息训练弱学习器,所以我们可以先用方向向量进行回归树节点的划分,然后叶节点上输出对应残差的中值(相当于取中值为权重)。另外 Friedman 证明了在任意叶子节点
我们继续看按上述思路后该如何训练模型(红框为左叶子节点):
![6739452c050130c81022d52efec52d39.png](https://i-blog.csdnimg.cn/blog_migrate/4cc9fbd0c33adef74db6694ab7d78cb3.jpeg)
我们再看看这一过程残差(蓝点)的拟合(虚线)情况:
![d977d6132c4f29f540822a2db4aaf8f0.png](https://i-blog.csdnimg.cn/blog_migrate/e63bc3f448920a32796d083e997b3d3a.png)
一般来说,残差(蓝点)应逐渐靠近0水平线(用残差向量进行训练是就是这样,如下图),但是这里(上图)我们并没有看到这种情况,说明我们的模型并没有从一开始就去拟合离群点(第5个样本点)
![6992598208a5cdf2425eb67ba59f9e72.png](https://i-blog.csdnimg.cn/blog_migrate/72f76dca493db0bf097c354b7170539d.png)
看看每阶段合成模型
![787192d0c3da556c1803c54600623be2.png](https://i-blog.csdnimg.cn/blog_migrate/4d2a6e9516cfa1fdf456bf67c2598029.png)
MSE 和 MAE 在 GBM 上的区别
不同点:
- MSE GBM 优化
损失函数,利用残差向量(residual vectors)训练树模型,树模型输出残差的均值;
- MAE GBM 优化
损失函数,利用符号向量(sign vectors) 训练树模型,树模型输出残差的中值;
从代价函数上看:
![f7c0b0b37adb2a3f85ee04fdfa222eed.png](https://i-blog.csdnimg.cn/blog_migrate/133cf641d0243cef4ec532a5c1cec805.png)
![3c5c96e0055ad21b20298f2c75f7c2ee.png](https://i-blog.csdnimg.cn/blog_migrate/33e02fa1856684ff45bb3f9dd4a5687d.png)
上面两张表给出了 MSE GBM 和 MAE GBM 在训练过程中两个代价函数值(MSE + MAE)的变化。从中我们可以得出如下结论:
- 初始化时,均值能得到更小的 MSE (94576<113620);中值能得到更小的 MAE (218<246);
- 以 MSE 为优化目标的 MSE GBM 所得 MSE 代价值小于以 MAE 为优化目标的 MAE GBM。MAE 同理;
- 看二者的 MSE 变化:前者在训练中 MSE 得到了快速的下降,因为该模型从训练的第一个弱学习器就开对离群点进行了拟合;相反,后者并没有直接对 outlier 进行拟合从而使得模型在 M=3 时才获得了较小的 MSE。这一点从弱学习器
对残差的拟合中可以直观对比得出:
![5d9f7ec53fa62cd70ad20559a979f72e.png](https://i-blog.csdnimg.cn/blog_migrate/5cc90d469520840b0cbf9d93c4d910b3.png)
上图中,左图为 MSE GBM,右图为 MAE GBM。橙色高亮区域为回归树
![7cba8882ceeebe7cb75ad35db1312280.png](https://i-blog.csdnimg.cn/blog_migrate/24e1c8978cb2dd35d028163d569d478d.png)
顺带提一下, MSE GBM 和 MAE GBM 在原理上与 k-means 和 k-median 算法有异曲同工之处。