机器学习笔记之十六——模型融合Blending

最新推荐文章于 2024-07-05 14:52:19 发布

JAVA技术分享官

最新推荐文章于 2024-07-05 14:52:19 发布

阅读量3.2k

点赞数 2

分类专栏：机器学习文章标签： Stacking Blending

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_35946969/article/details/86761118

版权

机器学习专栏收录该内容

26 篇文章 5 订阅

订阅专栏

Blending方法是区别于bagging和boosting的另一种集成模型的方法。

在已经得到多个弱学习器的状况下，如何将这些弱学习器的预测值联合起来，得到更好的预测值，就是Blending做的事情。

1、Uniform Blending

uniform Blending（平均Blending）是最简单的一种Blending方法。

定义：已知多个弱学习器 (g_1,g_2,g_3...g_t...g_n) ，每个 g_t 的权重相同，（G代表融合后的模型）。

对于Classification问题： $G(x) = \underset{1\leq k\leq K}{argmax} \sum ^T_{t=1}[g_t(x)=k]$ ，K为label类别值。（类似投票，取票数最多的预测结果）

对于Regression问题： $G(x)=\frac{1}{T}\sum ^T_{t=1}g_t(x)$ ，(对所有预测结果取平均)

1.1、unifor Blending 理论支持

证明：对于Regression问题，以MSE为优化函数，证明Blending model强于单model。

2、Linear Blending

定义：已知 g_t ，对于每个 g_t 给定一个权重 $\alpha _t$ 。（非平均权重）

对于Classification问题， $G(x)=sign(\sum _{t=1}^T\alpha _tg_t), \alpha\geq 0$

对于Regression问题： $G(x)=\sum _{t=1}^T\alpha _tg_t, \alpha\geq 0$

找到这个‘good’ $\alpha _t$ ，就是Linear Blending的答案。

怎么找？

$\underset{\alpha _t> 0}{min}\frac{1}{N}\sum _{n=1}^N(y_n-\sum ^T_{t=1}\alpha _tg_t(x_n))^2$ ，这个公式实质上就是linearRegression，只不过参数 $\alpha _t$ 多了个大于0的限制。

3、Any Blending(Stacking)

Linear Blending是使用linearRegression拟合融合时使用的 $\alpha _t$ 。

Stacking则是使用non-linear model拟合融合时的参数。

通常Stacking与k折交叉验证一同使用。

JAVA技术分享官

关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
机器学习笔记之十六——模型融合Blending

Blending方法是区别于bagging和boosting的另一种集成模型的方法。在已经得到多个弱学习器的状况下，如何将这些弱学习器的预测值联合起来，得到更好的预测值，就是Blending做的事情。 1、Uniform Blending uniform Blending（平均Blending）是最简单的一种Blending方法。定义：已知多个弱学习器，每...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。