集成学习——Boosting算法：Adaboost、GBDT、XGBOOST和lightGBM的简要原理和区别

已于 2023-07-26 09:34:20 修改
阅读量3.4k 收藏 28
点赞数 6
分类专栏： 机器学习 文章标签： 集成学习 boosting 算法 机器学习
于 2023-07-25 21:34:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjinc/article/details/131921374
版权
本文介绍了Boosting算法的基本原理，包括Adaboost、GBDT和XGBoost。Adaboost通过调整样本权重提升弱分类器性能；GBDT通过最小化残差构建回归树；XGBoost在优化和并行计算上更胜一筹。LightGBM则通过直方图和并行优化实现高效训练。这些算法各有优缺点，适用于不同的数据集和场景。
摘要由CSDN通过智能技术生成

1、Boosting算法

在这里插入图片描述

Boosting算法是通过串联的方式，将一组弱学习器提升为强学习器算法。它的工作机制如下：
（1）用初始训练集训练出一个基学习器；
（2）依据基学习器的表现对训练样本分布进行调整，使得之前做错的训练样本在之后中得到最大的关注；
（3）用调整后的样本分布进行下一个基学习器；
（4）重复2-3的步骤，直到基学习器的数量达到了指定的T值后
（5）将T个基学习器进行加权组合得到集成的学习器。
而根据策略不同，会有Adaboost和GBDT、XGBoost三种常见的Boosting算法。

2、Adaboost算法

Adaboost强调Adaptive(自适应)，通过不断修改样本权重（增大分错样本权重，降低分对样本权重），不断加入弱分类器进行boosting。它的核心步骤为以下两个：
权值调整：提高上一轮错误分类的样本权值，降低正确分类的样本权值，从而使得错误分类的样本在下一轮基分类器中获得更大的关注。
基分类器组合：采用加权多数表决的方法，即加大分类误差小的分类器权值，减少误差大的分类器权值。
Adaboost的步骤和考虑点和Boosting算法一致，步骤也基本一致。
在这里插入图片描述

Adaboost算法特点

  • 可以使用各种方法构建子分类器，本身提供框架
  • 子分类器容易构建
  • 速度快，不怎么调节参数
  • 泛化错误率低

3、GBDT算法

GBDT是旨在不断减少残差（回归）&#

最低0.47元/天 解锁文章
AIGC人工智残
关注
  • 6
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【机器学习笔记】——Bagging、Boosting、Stacking（RF / Adaboost / Boosting Tree / GBM / GBDT / XGBoost / LightGBM）
孙悟充的博客
05-17 1329
目 录 1  集成学习1.1  概念1.2  思维导图2  Bagging算法2.1  概念2.2  编程（分类）2.3  随机森林2.3.1  扩展2.3.1.1  Extremely randomized Tree...
集成学习算法总结----Boosting和Bagging
哆啦A梦的博客
07-05 2万+
1、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。1.2 集成学习的主要思想 集成学习的主要思想是利用一定的手段学习出多个分类器，而且这多个分类器要求
机器学习：AdaBoost算法、GBDT提升树、XGBoost、LightGBM
最新发布
m0_57497923的博客
07-08 1773
个人学习笔记，主要目的是学习Lightgbm，从决策树开始讲起，一直到LightGBM，上述Lightgbm部分不是过于详细，后期会继续学习，如有问题请评论
集成算法总结 AdaBoost、GBDT、XGBoost、LightGBM
langka9的博客
04-22 2792
https://blog.csdn.net/fenghuibian/article/details/91353348?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-6&utm_source=distribute.pc_relevant.none-task-blog-BlogComm...
【机器学习】Boosting算法-梯度提升算法（Gradient Boosting）
cxyhjl的博客
12-24 8554
一、原理梯度提升算法是一种集成学习方法，它可以将多个弱分类器或回归器组合成一个强分类器或回归器，提高预测性能。梯度提升算法的核心思想是利用损失函数的负梯度作为残差的近似值，然后用一个基学习器拟合这个残差，再将其加到之前的模型上，从而不断地减小损失函数的值。梯度提升算法有以下几个特点：梯度提升算法可以用任何可微分的损失函数，如平方误差、绝对误差、交叉熵等，这使得它比其他基于指数损失函数的算法更加灵活...
机器学习之集成学习（Boosting算法、Bagging算法、Stacking算法）总结
~华仔的博客
06-16 1988
20190616 1集成学习 集成学习就是组合多个学习器，最后可以得到一个更好的学习器 #集成学习算法 #装袋（bagging）：个体学习器之间不存在强依赖关系 #随机森林（Random Forest） #提升（boosting）：个体学习器之间存在强依赖关系 #Stacking 2bagging 是一种有放回抽样 ...
集成学习之Boosting
IT之一小佬的博客
04-09 1447
集成学习之Boosting 1.boosting集成原理 1.1 什么是boosting 随着学习的积累从弱到强 简而言之：每新加入一个弱学习器，整体能力就会得到提升 代表算法：Adaboost，GBDT，XGBoost 1.2 实现过程： 1.训练第一个学习器 2.调整数据分布 3.训练第二个学习器 4.再次调整数据分布 5.依次训练学习器，调整数据分布 6.整体过程实现 关键点： 如何确认投票权重？ 如何调整数据分布？ AdaBoost的构
机器学习笔记（七）Boost算法（GDBT,AdaBoost，XGBoost）原理及实践
热门推荐
王大宝的CD
03-09 4万+
Boost（提升）算法介绍，包括GDBT，AdaBoost和XGBoost的原理及Python中的实践。
机器学习——模型融合：Boosting算法
weixin_39753819的博客
04-09 1516
Boosting算法通过组合多个弱学习器来构建一个强学习器，能够提高模型的泛化能力。常见的Boosting方法包括AdaBoost、Gradient Boosting、XGBoost、LightGBM和CatBoost等。Boosting方法在实际应用中取得了很好的效果，但也需要注意训练时间较长和对异常值敏感等缺点。
Boosting原理及其应用
laiqun_ai的专栏
07-05 3229
一、背景 故事：    某男到医院就诊，医生亲切地问了一些该男的症状，最后得出结论：“医生说我怀孕了。。。” 血淋淋的故事告诉我们：     需要一个好的诊断器：根据病人的一系列症状，得出病人患的是什么病。   实际上，这是一个分类问题。   分类问题很常见： 1) 博客男女 2) OCR 3) 情感分类 4) 查询意
Boosting算法简介
07-27
Boosting算法简介笔记 Boosting算法简介笔记 Boosting算法简介笔记
【回顾】GBDT、XGBoost、LightGBM原理及对比
qq_42189083的博客
10-18 903
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。 AdaBoost概述 Adaboost(Adaptive Boosting，自适应增强)算法是一种提升方法，将多个弱分类器，组合成强分类器。它的自适应在于：前一个弱分类器分...
RF,GBDT,XGBoost,lightGBM对比分析
zhangbaoanhadoop的博客
08-25 563
RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。  根据基本学习器的生成方式，目前的集成学习方法大致分为两大类：即基本学习器之间存在强依赖关系、必须串行生成的序列化方法，以及基本学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者...
机器学习提升算法之Adaboost、GB、GBDT与XGBoost算法
一路前行
09-09 9938
一、Gradient boosting(GB) 梯度提升    提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中。如果每一步的弱预测模型生成都是一句损失函数 的梯度方向，则称之为梯度提升（Gradient boosting）。梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的若函数集合（基函数）；提升算法通过迭代的选择一个负梯
Boosting算法原理（Adaboost篇）
Sherry沫小阳的博客
04-18 7393
Boosting算法原理 Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造一个预测函数系列,然后以一定的方式将他们组合成一个预测函数。Boosting是一种提高任意给定学习算法准确度的方法。 1）提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样本的权值，使误分的样本在后续受到更多的关注。 2）加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数...
Boosting方法中的特征重要度
weixin_34015336的博客
08-21 433
来源三个文档: DecisionTree, XGBoost, LightGBM。 Decision Tree 地址：DecisionTreeClassifier feature_importances_ : array of shape = [n_features] The feature importances. The higher, the more important the featu...
通俗讲解集成学习算法！
Datawhale
06-14 806
↑↑↑关注后"星标"Datawhale每日干货 &每月组队学习，不错过Datawhale干货作者：黄星源，Datawhale优秀学习者本文以图文的形式对模型...
adaboost gbdt xgboost lightgbm
06-28
### 回答1： Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习算法，通过不断迭代，每次训练一个新的决策树来纠正前面树的错误，最终得到一个强分类器。 XGBoost是一种基于GBDT的算法，它在GBDT的基础上引入了正则化和并行化等技术，使得模型更加准确和高效。 LightGBM是一种基于GBDT的算法，它采用了基于直方图的决策树算法和互斥特征捆绑技术，使得模型训练速度更快，占用内存更少，同时也具有较高的准确率。 ### 回答2： adaboost(Adaptive Boosting) 是一种基于不同权重的弱分类器的算法，它通过迭代的方式来逐步提高分类器的准确性。在每轮迭代中，它会调整训练样本的权重，使得前一轮分类错误的样本在当前轮得到更多的关注。最终，通过组合这些弱分类器来构建一个强分类器。其优点在于不易过拟合，但需要耗费大量的时间来训练和预测。 gbdt(Gradient Boosting Decision Tree) 是一种基于决策树的集成学习算法，它通过迭代的方式来提升分类器的准确性。基于训练样本和实际输出的误差进行梯度下降，将它们作为下一个分类器的训练数据。每个分类器都在之前所有分类器得到的残差的基础上进行训练，并且将它们组合成一个最终的分类器。在训练过程中，为了避免过拟合，可以限制决策树的深度等参数，并采用交叉验证等技术。gbdt可以处理缺失数据、不平衡分类和高维度数据等问题，但需要注意过拟合的问题。 xgboost(Extreme Gradient Boosting) 是一种基于决策树的集成学习算法，它在gbdt的基础上引入了正则化项和精细的特征选择，进一步提高了分类器的准确性和效率。通过Hessian矩阵对损失函数进行二阶泰勒展开，引入正则化约束，可以优化损失函数，并通过交叉验证等技术选择最优的超参数。xgboost还支持GPU加速，提高模型训练的速度和效率，但需要更多的计算资源。xgboost在分类、回归和排名任务中表现优异，但需要注意过拟合和计算量的问题。 lightgbm是微软旗下一款高效、快速、分布式的梯度提升框架，也是一种基于决策树的集成学习算法，定位在处理高维度数据和大规模数据集上。lightgbm采用了GOSS(Gradient-based One-Side Sampling)技术和EFB(Exclusive Feature Bundling)技术对数据进行处理，大大减少数据的内存占用和训练时间。同时，还支持并行计算和GPU加速，提高了模型的速度和效率。lightgbm在排序、分类、回归等任务中表现出色，只是对离群值敏感，需要对数据进行预处理。 ### 回答3： Adaboost，Gradient Boosting Decision Tree (GBDT)，XGBoost和LightGBM都是常见的集成学习算法，它们用于提高模型在复杂数据集上的准确度，并处理复杂数据集上遇到的问题。 Adaboost是一种迭代算法，每次迭代它使用提高错误分类样本的加权值，并降低正确分类样本的加权值，以便让前一个弱分类器无法捕捉并由后续分类器学习。Adaboost弱分类器快速训练和预测，且不需要太多超参数调整，但是它倾向于过度拟合数据，并且实力可能不足以解决大型数据集的问题。 GBDT使用决策树作为弱分类器，将每一棵树的预测结果作为下一棵树的预测输入，最后对所有树的预测结果进行加权求和。GBDT可以很好地处理线性和非线性问题，但是它倾向于过度拟合数据，需要进行精细调整参数，并且需要较长时间的训练时间。 XGBoost结合了GBDT的优势和树的强大性质。它采用了一些优秀的技术，如Boosting树算法，Shrinkage，Column Sampling和Pruning Nodes，以提高模型的性能和降低过拟合风险。XGBoost可以处理大规模数据集和高维数据集，并且速度较快，但需要的资源较多，如内存、计算能力和高质量的数据集。 LightGBM是XGBoost的新一代版本，采用了GOI（Gradient-based One-side Sampling）算法和Histogram-based Gradient Boosting方法来加快训练速度和降低内存占用。GOI算法通过对数据进行一侧采样来提高训练速度，而直方图梯度提升方法将节点分裂建模为一个直方图分桶过程，以减少节点分裂的计算成本。LightGBM对大数据集的处理能力很强，速度相对较快，但对于处理小数据集的效果可能不明显。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIGC人工智残

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值