adaboost深入剖析（下）

最新推荐文章于 2020-05-03 23:02:14 发布

与贰

最新推荐文章于 2020-05-03 23:02:14 发布

阅读量150

点赞数

分类专栏：机器学习文章标签： adaboost 机器学习集成学习原理证明

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_40955254/article/details/84861236

版权

机器学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

上一章《adaboost深入剖析（上）》中，我对于adaboost是什么，怎么用做了一个简单介绍，并分享了一个简单的例子。那么在这一部分我想和大家深入分析关于Adaboost算法的误差界问题。

我认为这个问题触及adaboost的灵魂本质，也就是讲，通过了解这个问题，你就能够知道为什么通过adaboost这种集成学习的方法，原本很烂的一堆弱分类器就可以形成一个超级强的强分类器。

adaboost的本质就是他能在不断地学习过程中融入新的分类器，并且指数级速度的降低误差。

首先最后的误差可以表示为： $\frac{1}{n}\sum_{i=1}^n I(G(x_i)\neq y_i)$

当 $G(x_i)\neq y_i$ 的时候，我们可以得到 $y_iG(x_i)<0$ ，

所以再推一步可以得到 $exp(-y_iG(x_i))>1$

当 $G(x_i)=y_i$ 的时候，我们可以得到 $y_iG(x_i)>0$ ，

所以再推一步可以得到 $1>exp(-y_iG(x_i))>0$

所以我们可以得到 $\frac{1}{n}\sum_{i=1}^n I(G(x_i)\neq y_i)<=\frac{1}{n}\sum_{i=1}^n exp(-y_if(x_i))$

又因为 $w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-\alpha_my_iG_m(x))$

所以有了下面的推导

也就是说最后得出这个结论

$\frac{1}{n}\sum_{i=1}^n I(G(x_i)\neq y_i)<=\frac{1}{n}\sum_{i=1}^n exp(-y_if(x_i))=\prod_{m=1}^M Z_m$

继续往下推

我们得出这个结论，也就是说

$\prod_{m=1}^M Z_m=\prod_{m=1}^M 2\sqrt{e_m(1-e_m)}=\prod_{m=1}^M sqrt(1-4\gamma_m^2)$

通过泰勒展开，又可以证明下面这个不等式

$\prod_{m=1}^M sqrt(1-4\gamma_m^2)<=exp(-2\sum_{m=1}^M \gamma_m^2)$

则如果存在一个 $\gamma>0$ ,对于所有的 $\gamma_m$ 有 $\gamma_m>\gamma$ ,上式可以继续化简为 $\prod_{m=1}^M sqrt(1-4\gamma_m^2)<=exp(-2M \gamma_m^2)$

最终我们的结论是 $\frac{1}{n}\sum_{i=1}^n I(G(x_i)\neq y_i)<=exp(-2M \gamma_m^2)$ ，也就是说符合条件的弱分类器越来越多，最终我们的误差会呈现出一个e的指数状态的减少。

好了，着急去上课，下这一部分先写到这里，还有一部分公式没有来得及敲，贴的截图，晚上下课后我会一起修改了

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
adaboost深入剖析（下）

上一章《adaboost深入剖析（上）》中，我对于adaboost是什么，怎么用做了一个简单介绍，并分享了一个简单的例子。那么在这一部分我想和大家深入分析关于Adaboost算法的误差界问题。我认为这个问题触及adaboost的灵魂本质，也就是讲，通过了解这个问题，你就能够知道为什么通过adaboost这种集成学习的方法，原本很烂的一堆弱分类器就可以形成一个超级强的强分类器。adaboos...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

与贰 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。