集成学习boosting算法：Adaboost&GBDT&Xgboost&LightGBM&CatBoost

已于 2022-07-27 10:05:37 修改
阅读量1.8w 收藏 30
点赞数 3
分类专栏： 集成学习 文章标签： 集成学习 GBDT Xgboost Adaboost LDBM
于 2022-03-20 23:23:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54884881/article/details/123619793
版权

Adaboost&GBDT&Xgboost&LightGBM&CatBoost

  • 总体来说，boosting算法还是需要大量的数据集的，因为模型相对于单一的学习器来说还是比较复杂的，数据简单就更不能用subsample了

0简介

0.0发展史

年份算法/理论成就/改进
1988General Boosting先前的弱评估器上预测错误的样本应该在后续得到更多关注
1997AdaBoost从0到1，首次在工程上实现了boosting理论
确立了决策树作为弱评估器，生长规则为C4.5
自适应地调整数据分布
自适应地计算每个弱分类器的权重
2000GBDT
在ADB基础上改进		更新损失函数 L ( x , y ) L(x,y) L(x,y)，在数学流程上推广到任意可微函数
放弃调整数据分布、放弃弱分类器权重
自适应地调整后续弱评估器拟合的目标
2014XGBoost
在GBDT基础上改进		更新损失函数 L ( x , y ) L(x,y) L(x,y)，在损失函数中加入正则项
改进弱评估器 f ( x ) f(x) f(x)生长规则，自适应地调整后续弱评估器的结构
改进拟合中的数学过程，提升拟合精度
首次在工程上实现了boosting树的并行，提升运算速度
支持GPU加速
2016LGBM
在GBDT基础上改进
受XGBoost启发		改进弱评估器 f ( x ) f(x) f(x)生长规则，自适应地调整后续弱评估器的结构
设计了适合于GBDT的数据分布调整方式GOSS，自适应地调整数据分布
设计了加速弱分类器分枝的计算方式EFB，在工程上大幅度降低了运算时间与内存消耗
支持GPU加速
2017CatBoost
在GBDT基础上改进
受XGBoost启发		改进弱评估器 f ( x ) f(x) f(x)生长规则，自适应地调整后续弱评估器的结构
设计了适用于梯度下降的弱分类器权重调整方式，自适应地调整弱分类器的权重
改进离散型变量的分枝方式，提升拟合精度
支持GPU加速

0.1 经典文章链接/文章总结链接

GBDT算法推导-------刘建平
XGBoost 知乎答主写的这一篇太棒了
XGBoost算法参数---------刘建平
GBDT和XGBoost区别
B站菜菜的机器学习

0.2 bagging和boosting

  • bagging实际上本质就是通过单一的弱模型通过加权或投票等（可以并行）的方式生成新的强学习器，我们常见的还是通过多个决策树级集成形成的强学习器随机森林，本质上和模型融合相似，不过模型融合主要是融合不同的模型，也就是多种模型集成形成的集成模型。

  • boosting是通过若干个弱评估器通过递进的方式集成形成的强学习器，bagging可能是由多个强学习器组成弱评估器，boosting是弱评估器，效果为啥在一定程度上比bagging更加有效？是因为boosting还是通过想着损失函数极小化方向进行，虽然说是弱评估器，叠加起来却能很好的拟合结果，并在一定程度上抗过拟合的发生，但是也不能说不可能发生过拟合，毕竟boosting算法是较为复杂的学习器，在样本数据集简单时还是很容易发生过拟合的现象，抗过拟合的能力还是相对于bagging特别是随机森林来说的。

  • Boosting PK Bagging

装袋法 Bagging提升法 Boosting
弱评估器相互独立，并行构建相互关联，按顺序依次构建
先建弱分类器的预测效果影响后续模型的建立
建树前的抽样方式样本有放回抽样
特征无放回抽样		样本有放回抽样
特征无放回抽样
先建弱分类器的预测效果可能影响抽样细节
集成的结果回归平均
分类众数		每个算法具有自己独特的规则，一般来说：
(1) 表现为某种分数的加权平均
(2) 使用输出函数
目标降低方差
提高模型整体的稳定性来提升泛化能力
本质是从“平均”这一数学行为中获利		降低偏差
提高模型整体的精确度来提升泛化能力
相信众多弱分类器叠加后可以等同于强学习器
单个评估器容易
过拟合的时候		具有一定的抗过拟合能力具有一定的抗过拟合能力
单个评估器的效力
比较弱的时候		可能失效大概率会提升模型表现
代表算法随机森林梯度提升树，Adaboost

RF2

在以随机森林为代表的Bagging算法中，我们一次性建立多个平行独立的弱评估器，并让所有评估器并行运算。在Boosting集成算法当中，我们逐一建立多个弱评估器（基本是决策树），并且下一个弱评估器的建立方式依赖于上一个弱评估器的评估结果，最终综合多个弱评估器的结果进行输出，因此Boosting算法中的弱评估器之间不仅不是相互独立的、反而是强相关的，同时Boosting算法也不依赖于弱分类器之间的独立性来提升结果，这是Boosting与Bagging的一大差别。如果说Bagging不同算法之间的核心区别在于靠以不同方式实现“独立性”（随机性），那Boosting的不同算法之间的核心区别就在于上一个弱评估器的评估结果具体如何影响下一个弱评估器的建立过程。

与Bagging算法中统一的回归求平均、分类少数服从多数的输出不同，Boosting算法在结果输出方面表现得十分多样。早期的Boosting算法的输出一般是最后一个弱评估器的输出，当代Boosting算法的输出都会考虑整个集成模型中全部的弱评估器。一般来说，每个Boosting算法会其以独特的规则自定义集成输出的具体形式，但对大部分算法而言，集成算法的输出结果往往是关于弱评估器的某种结果的加权平均，其中权重的求解是boosting领域中非常关键的步骤。

依据上一个弱评估器 f ( x ) t − 1 f(x)_{t-1} f(x)t−1​的结果，计算损失函数 L ( x , y ) L(x,y) L(x,y)，
并使用 L ( x , y ) L(x,y) L(x,y)自适应地影响下一个弱评估器 f ( x ) t f(x)_t f(x)t​的构建。
集成模型输出的结果，受到整体所有弱评估器 f ( x ) 0 f(x)_0 f(x)0​ ~ f ( x ) T f(x)_T f(x)T​的影响。

0.3 简记

0.3.0 mean_squared_error

sklearn.metrics.mean_squared_error( y_true, # 真实值
								    y_pred, # 预测值
								    squared=True, 
								    # True 表示MSE均方误差
								    # False 表示RMSE均方根误差
								    )

1 Adaboost

https://blog.csdn.net/weixin_54884881/article/details/126001037?spm=1001.2014.3001.5502

2 GBDT

https://blog.csdn.net/weixin_54884881/article/details/126000988?spm=1001.2014.3001.5502

3 Xgboost

https://blog.csdn.net/weixin_54884881/article/details/126004133

LightGBM

CatBoost

6 问题

6.1 RF和GBDT之间区别

在这里插入图片描述

6.2 XGBoost和GBDT之间区别

在这里插入图片描述
在这里插入图片描述

6.3 XGBoost是如何防止过拟合的

在这里插入图片描述

6.4 GBDT中的步长

在这里插入图片描述

6.5 boosting和bagging区别

在这里插入图片描述

6.6 GBDT优缺点

在这里插入图片描述

6.7 XGBoost优缺点

在这里插入图片描述
「 25' h 」
关注
  • 3
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
集成学习2：Boosting算法：Adaboost&GBDT
m0_64375823的博客
12-25 252
文章目录一、 Boosting算法原理二、 Adaboost算法2.1 Adaboost算法原理2.2 Adaboost算法举例2.3 Adaboos代码举例三、 前向分步算法3.1加法模型3.2 前向分步算法3.3 前向分步算法与Adaboost的关系四、梯度提升决策树(GBDT)4.1 Decision Tree：CART回归树4.2 回归提升树算法4.3 梯度提升决策树算法(GBDT)4.3 GBDT代码示例 一、 Boosting算法原理 Bagging：通过Bootstrap 的方式对全样本数据
集成学习之boosting中Adaboost算法
qq_43720646的博客
04-21 556
集成学习之boosting中Adaboost算法前言boosting方法Adaboost算法原理算法步骤第一步初始化样本权重第二步迭代生成分类器第三步组成分类器优缺点sklearn算法实现数据读取数据处理及训练集拆分（两类别）弱分类器（单层决策树）adaboost(基分类器为决策树)结果对比分析：对比决策边界 前言 Bagging方法：通过bootstrap方式对全样本集进行抽样，然后根据抽取出的每一个样本集，使用同一种基本模型进行拟合，然后投票得出最终的预测。基本思想是通过降低方差来提高预测精度。 Boo
ScaRF:简单CUDA加速随机森林
05-19
简单CUDA加速随机森林 ＃＃＃汇编 该库旨在尽可能地通用，因此可以适应不同的问题。 因此，它本质上是一个模板库。 原则上，您只需要在代码中包含头文件，其余的将由编译器处理。 ###文档 我们使用Doxygen作为文档。 有一个cmake命令来构建文档。 只需按照以下标准操作即可： mkdir build cd build cmake .. make doc
GBDT算法原理讲解以及常用的训练框架汇总：XGBoost LightGBM CatBoost NGBoost
BGoodHabit的博客
03-30 3389
GBDT算法原理和训练框架汇总
ML-集成学习：AdaBoost、Bagging、随机森林、Stacking(mlxtend)、GBDT、XGBoost、LightGBM、CatBoost原理推导及实现
千寻的博客
02-26 6863
目录 1.名称简介 2.设计集成原则 3.集成学习算法分类 4.Boosting 4.1基本流程 4.2Adaboost实现 4.2.1.分类 4.2.2.回归 4.2.3Adaboost的正则化 4.2.4Adaboost小结 5.Bagging 5.1基本流程 6.随机深林Random Forest 6.1基本流程 7.Stacking 8.GBDT 8.1...
CatBoost, XGBoost, AdaBoost, LightBoost，各种Boost的介绍和对比
deephub
08-19 5942
本文内容 介绍 AdaBoost Gradient Boost XGBoost Histogram-Based Gradient Boost LightBoost CatBoost 总结 介绍 在集成学习中，目标是用多种学习算法最成功地训练模型。Bagging方法是一种集成学习方法，将多个模型并行应用于同一数据集的不同子样本。Boosting是另一种在实践中经常使用的方法，它不是并行构建的，而是按顺序构建的，目的是训练算法和模型。弱算法先对模型进行训练，然后根据训练结果对模型进行重组，使模型更容易学习。
GPU加速计算-工具介绍
yujianmin1990的专栏
08-30 8006
本人主要在R下和Python下使用GPU加速计算，使用成熟的工具来提高自己的工作效率，现在对其中一些方法做一下简单总结。
机器学习与算法源代码9： AdaBoost与GBDT模型.zip
05-18
在机器学习领域，AdaBoost和梯度提升决策树（Gradient Boosting Decision Tree，简称GBDT）是两种广泛应用且强大的算法，它们在数据挖掘、预测分析和模式识别中扮演着重要角色。这两个模型都是集成学习（Ensemble ...
集成学习：随机森林、GBDT、XGBoost实战代码合集.zip
07-24
00_随机森林案例一：宫颈癌预测. 01. Bagging&Boosting算法应用在回归模型中 02_Adaboost案例一：Adaboost分类算法 03_Adaboost案例二：Adaboost API algorithm参数取值比较
12_Adaboost_GBDT_XGBoost算法原理1
08-03
AdaBoost，全称为Adaptive Boosting，是一种集成学习方法，其核心思想是通过组合一系列弱分类器形成一个强分类器。在AdaBoost算法中，它并不改变原始的训练数据，而是通过调整训练数据的权重分布，让那些在之前分类...
机器学习中的算法：决策树模型组合之GBDT
02-25
本文来自于csdn，本文从informationgain和决策树两个方面介绍了机器学习的算法，希望对您的学习有帮助。决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将...
集成学习—AdaBoost、GBDT、XGBT.docx
01-19
集成学习—AdaBoost、GBDT、XGBoost 集成学习是机器学习中一种常用的技术，它通过组合多个预测器（分类器或回归器）的预测结果，得到的预测结果比单个预测器要好。常用的集成学习方法包括 Voting、Bagging、...
提高机器学习效率:GPU加速的Pandas和Scikit-learn助力数据分析
whatday的专栏
04-03 949
如果您希望将机器学习(ML)项目的速度和可扩展性提升到新的水平，GPU加速的数据分析可以帮助您以突破性的性能快速提供见解。从更快的计算到高效的模型训练，GPU为日常的机器学习任务带来了许多好处。
集成学习（XGBoost，LightGBM，CatBoost）
weixin_47158501的博客
02-28 1080
决策树 由根节点跟许多决策节点和叶子节点组成的树形结构 eg. 分类树 1、信息熵 信息熵是用来衡量休息不确定性的指数，不确定性是一个事件出现不同结果的可能性。计算方法如图所示： H(X)=−∑i=1nP(X=i)log⁡2P(X=i) H(X)=-\sum^n_{i=1}{P(X=i)\log_2{P(X=i)}} H(X)=−i=1∑n​P(X=i)log2​P(X=i) 其中：P(X=i)P(X=i)P(X=i)为随机变量x取值为i的概率 eg. 硬币 P 正面 0.5 反面 0
决策树、随机森林、bagging、boosting、GBDT、XGBOOST
m0_67794575的博客
03-27 916
总的来说，foresttrain函数更加灵活，可以通过调整参数来控制随机森林的构建过程，而tree bagger函数更加简单易用，适合快速构建随机森林模型。这种随机性导致随机森林的偏差会有稍微的增加（相比于单棵不随机树），但是由于随机森林的“平均”特性，会使得它的方差减小，而且方差的减小补偿了偏差的增大，因此总体而言是更好的模型。GBDT 的核心在于累加所有树的结果作为最终结果，GBDT 的每一棵树都是以之前树得到的残差来更新目标值，这样每一棵树的值加起来即为 GBDT 的预测值。
树模型：决策树、随机森林（RF）、AdaBoost、GBDT、XGBoost、LightGBM和CatBoost算法区别及联系
qq_50626322的博客
08-01 2860
树模型：决策树、随机森林（RF）、AdaBoost、GBDT、XGBoost、LightGBM和CatBoost算法区别及联系。基础决策树容易产生过拟合的情况。预剪枝和随机森林(RF)防止过拟合。AdaBoost基于前一棵基础决策树对样本点设置不同的权重，建立树之间联系。GBDT利用损失函数的负梯度值近似残差的计算，损失函数可为一般函数。 基于GBDT 的XGBoost、LightGBM 和CatBoost，三大主流神器。...
集成学习的艺术：使用Scikit-Learn实现模型融合
最新发布
2401_85761003的博客
07-19 577
集成学习是一种机器学习范式，它构建并结合多个模型以获得比单个模型更好的预测性能。常见的集成学习技术包括Bagging、Boosting和Stacking。
adaboost gbdt xgboost lightgbm
06-28
### 回答1： Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习算法，通过不断迭代，每次训练一个新的决策树来纠正前面树的错误，最终得到一个强分类器。 XGBoost是一种基于GBDT的算法，它在GBDT的基础上引入了正则化和并行化等技术，使得模型更加准确和高效。 LightGBM是一种基于GBDT的算法，它采用了基于直方图的决策树算法和互斥特征捆绑技术，使得模型训练速度更快，占用内存更少，同时也具有较高的准确率。 ### 回答2： adaboost(Adaptive Boosting) 是一种基于不同权重的弱分类器的算法，它通过迭代的方式来逐步提高分类器的准确性。在每轮迭代中，它会调整训练样本的权重，使得前一轮分类错误的样本在当前轮得到更多的关注。最终，通过组合这些弱分类器来构建一个强分类器。其优点在于不易过拟合，但需要耗费大量的时间来训练和预测。 gbdt(Gradient Boosting Decision Tree) 是一种基于决策树的集成学习算法，它通过迭代的方式来提升分类器的准确性。基于训练样本和实际输出的误差进行梯度下降，将它们作为下一个分类器的训练数据。每个分类器都在之前所有分类器得到的残差的基础上进行训练，并且将它们组合成一个最终的分类器。在训练过程中，为了避免过拟合，可以限制决策树的深度等参数，并采用交叉验证等技术。gbdt可以处理缺失数据、不平衡分类和高维度数据等问题，但需要注意过拟合的问题。 xgboost(Extreme Gradient Boosting) 是一种基于决策树的集成学习算法，它在gbdt的基础上引入了正则化项和精细的特征选择，进一步提高了分类器的准确性和效率。通过Hessian矩阵对损失函数进行二阶泰勒展开，引入正则化约束，可以优化损失函数，并通过交叉验证等技术选择最优的超参数。xgboost还支持GPU加速，提高模型训练的速度和效率，但需要更多的计算资源。xgboost在分类、回归和排名任务中表现优异，但需要注意过拟合和计算量的问题。 lightgbm是微软旗下一款高效、快速、分布式的梯度提升框架，也是一种基于决策树的集成学习算法，定位在处理高维度数据和大规模数据集上。lightgbm采用了GOSS(Gradient-based One-Side Sampling)技术和EFB(Exclusive Feature Bundling)技术对数据进行处理，大大减少数据的内存占用和训练时间。同时，还支持并行计算和GPU加速，提高了模型的速度和效率。lightgbm在排序、分类、回归等任务中表现出色，只是对离群值敏感，需要对数据进行预处理。 ### 回答3： Adaboost，Gradient Boosting Decision Tree (GBDT)，XGBoost和LightGBM都是常见的集成学习算法，它们用于提高模型在复杂数据集上的准确度，并处理复杂数据集上遇到的问题。 Adaboost是一种迭代算法，每次迭代它使用提高错误分类样本的加权值，并降低正确分类样本的加权值，以便让前一个弱分类器无法捕捉并由后续分类器学习。Adaboost弱分类器快速训练和预测，且不需要太多超参数调整，但是它倾向于过度拟合数据，并且实力可能不足以解决大型数据集的问题。 GBDT使用决策树作为弱分类器，将每一棵树的预测结果作为下一棵树的预测输入，最后对所有树的预测结果进行加权求和。GBDT可以很好地处理线性和非线性问题，但是它倾向于过度拟合数据，需要进行精细调整参数，并且需要较长时间的训练时间。 XGBoost结合了GBDT的优势和树的强大性质。它采用了一些优秀的技术，如Boosting树算法，Shrinkage，Column Sampling和Pruning Nodes，以提高模型的性能和降低过拟合风险。XGBoost可以处理大规模数据集和高维数据集，并且速度较快，但需要的资源较多，如内存、计算能力和高质量的数据集。 LightGBM是XGBoost的新一代版本，采用了GOI（Gradient-based One-side Sampling）算法和Histogram-based Gradient Boosting方法来加快训练速度和降低内存占用。GOI算法通过对数据进行一侧采样来提高训练速度，而直方图梯度提升方法将节点分裂建模为一个直方图分桶过程，以减少节点分裂的计算成本。LightGBM对大数据集的处理能力很强，速度相对较快，但对于处理小数据集的效果可能不明显。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「 25' h 」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值