笔记——AdaBoost算法

最新推荐文章于 2020-12-20 13:40:35 发布

雀跃的硬骨

最新推荐文章于 2020-12-20 13:40:35 发布

阅读量267

点赞数

分类专栏：机器学习算法--编程实践机器学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_25222187/article/details/84369153

版权

本文介绍了AdaBoost算法的原理，包括如何通过改变训练样本权重提升弱学习器的性能，以及算法的实现步骤。文章通过李航《统计学习方法》中的例子详细解释了Adaboost的工作过程，并探讨了该算法的不稳定性，当存在多个误差率相同的基学习器时，选择顺序会影响最终的分类器。最后，提出了一些可能的改进措施。

摘要由CSDN通过智能技术生成

Outline

弱学习算法「提升」为强学习算法的理论依据
Adaboost 算法
Adaboost 算法的例子
Adaboost 算法的例子的实现步骤
思考

1. 弱学习算法「提升」为强学习算法的理论依据：

因此新问题是「如果存在弱学习算法，那么能否把它们提升为强学习算法？」

提升方法boosting：常用的统计学习方法。在分类问题中通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类器的性能。

比较具有代表性的是 AdaBoost 算法，对于提升方法有两个关键问题：

Q1:「在分类问题中通过改变训练样本的权重」，如何改变训练样本的权重？

对于AdaBoost 算法：提高被前一轮弱分类器错分的样本的权重，降低被正确分类的样本的权重（重点学习分错的样本）

Q2: 如何组合弱学习器

对于AdaBoost 算法：加权多数表决（错误率低的基学习器权重大，谁的权重大谁比较重要）

2. Adaboost 算法

李航《统计学习方法》 P138

初始权重D1假设训练样本是均匀分布的。如果 N = 10，则D1 = （0.1，0.1，0.1，0.1，0.1，0.1，0.1，0.1，0.1，0.1）
训练样本的权值之和 $\sum w_{mi}=1$

数据权值分布 $D_{m}$ 和基分类器 $G_{m} \left ( x \right )$ 的分类误差率的关系：当前第 m 次的权值分布Dm下的 $G_{m} \left ( x \right )$ 误分样本的权值之和

基分类器 $G_{m} \left ( x \right )$ 的系数和它的分类误差率之间的关系： $e_{m}$ 越大， $\alpha _{m}$ 越小

更新训练数据集的权值分布 $D_{_{m+1}}$ ：

权值分布 $D_{_{m+1}}$ 的更新和前一轮的权值 $D_{_{m}}$ 、新基分类器 $G_{m} \left ( x \right )$ 及其系数 $\alpha _{m}$ 有关。

$\alpha _{m}>0,e^{\alpha _{m}}>1$ , $e^{-\alpha _{m}}<1$

当样本 $x_{i}$ 的分类结果

最低0.47元/天解锁文章

雀跃的硬骨

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
笔记——AdaBoost算法

Outline弱学习算法「提升」为强学习算法的理论依据 Adaboost 算法 Adaboost 算法的例子 Adaboost 算法的例子的实现步骤思考 1. 弱学习算法「提升」为强学习算法的理论依据：因此新问题是「如果存在弱学习算法，那么能否把它们提升为强学习算法？」提升方法boosting：常用的统计学习方法。在分类问题中通过改变训练样本的权重，学习多个分类...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。