机器学习之集成学习（二）AdaBoost算法

最新推荐文章于 2024-07-28 16:14:16 发布

ivy_reny

最新推荐文章于 2024-07-28 16:14:16 发布

阅读量5k

点赞数 5

分类专栏：机器学习文章标签：机器学习 AdaBoost

本文链接：https://blog.csdn.net/ivy_reny/article/details/79151340

版权

本文详细介绍了AdaBoost算法，包括boosting算法的基本原理，AdaBoost在分类和回归问题中的应用，误差率计算，弱学习器权重系数的确定，样本权重更新，结合策略以及损失函数优化。此外，还阐述了AdaBoost的二元分类和回归问题的算法流程，以及正则化方法，最后进行了AdaBoost算法的总结。

摘要由CSDN通过智能技术生成

一、boosting算法的基本原理

集成学习器根据个体学习器的生成是否存在依赖关系，可以分为两类：个体学习器间存在强依赖关系，必须串行生成，代表算法是boosting系列算法；个体学习器之间不存在强依赖关系，可以并行生成，代表算法是bagging和随机森林系列算法。在boosting系列算法中，AdaBoost是最著名的算法之一。AdaBoost既可以用作分类，也可以用作回归。

Boosting算法的工作机制是首先从训练集中用初始权重训练出一个弱学习器1，根据弱学习器的学习误差率来更新训练样本的权重，使弱学习器1学习误差率高的训练样本点的权重变高，在后面的弱学习器2中得到更多的重视，然后基于调整权重后的训练集来训练弱学习器2，如此重复，直到弱学习器数目达到事先指定的数目T，最后将T个弱学习器通过集合策略进行整合，得到最终的强学习器。从偏差-方差分解的角度看，Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成。
Boosting系列算法需要解决以下几个具体问题：
1、如何计算学习误差e？
2、如何得到弱学习器权重系数a？
3、如何更新样本权重D？
4、使用何种结合策略？