集成学习——Boosting算法：Adaboost、GBDT、XGBOOST和lightGBM的简要原理和区别

AIGC人工智残

已于 2023-07-26 09:34:20 修改

阅读量3.8k

点赞数 6

分类专栏：机器学习文章标签：集成学习 boosting 算法机器学习

于 2023-07-25 21:34:05 首次发布

本文链接：https://blog.csdn.net/gjinc/article/details/131921374

版权

本文介绍了Boosting算法的基本原理，包括Adaboost、GBDT和XGBoost。Adaboost通过调整样本权重提升弱分类器性能；GBDT通过最小化残差构建回归树；XGBoost在优化和并行计算上更胜一筹。LightGBM则通过直方图和并行优化实现高效训练。这些算法各有优缺点，适用于不同的数据集和场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、Boosting算法

在这里插入图片描述

Boosting算法是通过串联的方式，将一组弱学习器提升为强学习器算法。它的工作机制如下：
（1）用初始训练集训练出一个基学习器；
（2）依据基学习器的表现对训练样本分布进行调整，使得之前做错的训练样本在之后中得到最大的关注；
（3）用调整后的样本分布进行下一个基学习器；
（4）重复2-3的步骤，直到基学习器的数量达到了指定的T值后
（5）将T个基学习器进行加权组合得到集成的学习器。
而根据策略不同，会有Adaboost和GBDT、XGBoost三种常见的Boosting算法。

2、Adaboost算法

Adaboost强调Adaptive(自适应)，通过不断修改样本权重（增大分错样本权重，降低分对样本权重），不断加入弱分类器进行boosting。它的核心步骤为以下两个：
权值调整：提高上一轮错误分类的样本权值，降低正确分类的样本权值，从而使得错误分类的样本在下一轮基分类器中获得更大的关注。
基分类器组合：采用加权多数表决的方法，即加大分类误差小的分类器权值，减少误差大的分类器权值。
Adaboost的步骤和考虑点和Boosting算法一致，步骤也基本一致。
在这里插入图片描述