机器学习笔记——Boosting中常用算法（GBDT、XGBoost、LightGBM）迭代路径

已于 2024-12-30 22:03:40 修改
阅读量2.4k 收藏 35
点赞数 51
分类专栏： 机器学习笔记 文章标签： 机器学习 boosting 人工智能 深度学习 AI 算法工程师
于 2024-11-19 11:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haopinglianlian/article/details/143834628
版权

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文主要阐述Boosting中常用算法（GBDT、XGBoost、LightGBM）的迭代路径。

在这里插入图片描述

文章目录

XGBoost 相对 GBDT 的改进

GBDT（Gradient Boosting Decision Tree，梯度提升决策树） 是一种集成学习算法。GBDT 使用梯度提升（Gradient Boosting）的思想，每一棵决策树都是基于前一轮预测的残差（即误差）来训练的，从而逐步逼近真实值。

XGBoost 相对传统 GBDT 在原理和实现上进行了多项改进，使得它在计算效率、模型精度、内存管理和并行性等方面有显著提升。以下是 XGBoost 相对 GBDT 的关键改进&#x

了解本专栏 订阅专栏 解锁全文
一文速学-XGBoost模型算法原理以及实现+贷款违约预测模型Python项目实战
master_hunter的博客
04-03 1万+
集成模型Boosting补完计划第三期了，之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架，余下几种Boosting算法都是在前者的算法之上改良得到，尤其是以GBDT算法为基础改进衍生出的三种Boosting算法：XGBoost、LightGBM、CatBoost。大家应该都对XGBoost算法模型熟悉但是对GBDT模型一无所知，看过之前GBDT的读者应该对GBDT模型有了一个很清楚的认知，对于理解XGBoos
机器学习笔记——聚类算法（Kmeans、GMM-使用EM优化）
haopinglianlian的博客
11-19 1179
本笔记介绍机器学习中常见的聚类算法（Kmeans、GMM-使用EM优化）。
XGBoost的改进----Lightgbm
Rudy95的博客
08-23 4243
Lightgbm改进的点： 基于Histogram的决策树算法 带深度限制的Leaf-wise的叶子生长策略 直方图做差加速 直接支持类别特征(Categorical Feature) Cache命中率优化 基于直方图的稀疏特征优化 多线程优化 下面主要介绍Histogram（直方图）做差加速、带深度限制的Leaf-wise的叶子生长策略。 基于histogram的决策树算法 直方图算法的基本思...
GBDT的改进之XGBoost算法介绍
最新发布
weixin_43597208的博客
03-07 653
XGBoost是由传统的GBDT模型发展而来的，GBDT模型在求解最优化问题时应用了一阶导技术，而XGBoost则使用损失函数的一阶和二阶导，而且可以自定义损失函数，只要损失函数可一阶和二阶求导。XGBoost算法相比于GBDT算法还有其他优点，例如支持并行计算，大大提高算法的运行效率；XGBoost在损失函数中加入了正则项，用来控制模型的复杂度，进而可以防止模型的过拟合；XGBoost除了支持CART基础模型，还支持线性基础模型；
【机器学习】 LightGBM——优于XGBoost提升的集成算法（安装+对比XGBoost改进+参数说明+python代码实例）
Allen . Liu
12-06 2291
中文官方文档：http://lightgbm.apachecn.org/cn/latest/Installation-Guide.html 英文官方文档：https://lightgbm.readthedocs.io/en/latest/ 一、lightGBM安装 在anaconda中输入：pip install lightGBM即可 输入import lightgbm as lg...
万字解读机器学习——Boosting中常用算法（GBDT、XGBoost、LightGBM）迭代路径
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-12 815
面试资料收集者之万字解读机器学习——Boosting中常用算法（GBDT、XGBoost、LightGBM）迭代路径
GBDT、XGBoost、LightGBM算法详解
酒酿小圆子呀～
05-23 5152
在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。
机器学习笔记——降维
haopinglianlian的博客
11-20 1853
本笔记介绍机器学习中常见的无监督学习方法——降维。
深度学习笔记——优化算法、激活函数
haopinglianlian的博客
11-21 1961
本笔记介绍深度学习中常见的优化算法、激活函数。
深度学习笔记——模型部署
haopinglianlian的博客
11-30 1138
本文简要概括模型部署的知识点，包括步骤和部署方式。
GBDT、XGBoost、LightGBM
guochampion的博客
04-25 800
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。AdaBoost原理原始的AdaBoost算法是在算法开始的时候，为每一个样本赋上一个权重值，初始的时候，大家都是一样重要的。在每一步训练中得到的模型，会使得数据点的估计有对有错，我们就在每一步...
机器学习-GB、GBDT、XGboost、Adaboost
qq_34229228的博客
11-22 3365
概念 argmin 的含义是什么？ 最通俗的理解：表示使目标函数取最小值时的变量值 算法 梯度提升决策树 XGBoost与GBDT算法的区别： 传统的GBDT在优化的时候只用到了一阶导数信息，而XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数，并且XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。 另外XGBoost还支持线性分类器，通过在代价函数中加入正...
机器学习---xgboost算法
热门推荐
weixin_43961909的博客
01-14 1万+
问题上表现的十分顶尖，本节将较详细的介绍XGBoost的算法原理。成和剪枝分别对应了经验风险最小化和结构风险最小化， XGBoost的决策树生成是结构风险最小。式（1.1）称为经验风险最小化，训练得到的模型复杂度较高。出结果， 是模型的输出结果；等式右边第⼀部分是模型的训练误差，第⼆部分是正则化项，这里。其中，F是假设空间，假设空间是在已知属性和属性可能取值的情况下，对所有可能满足目标的情。最小化，结构风险最小化的模型往往对训练数据以及未知的测试数据都有较好的预测。的正则化项是K棵树的正则化项相加而来的。
图文并茂，我们来讲讲机器学习方法的战斗机：XGBoost和LightGBM
郑老师统计
02-25 1164
【本文章由高校教师徐博士撰写】2025年的第一篇机器学习系列文章，我们从Boosting算法开始讲起。先前我们就已经讲解过，随机森林是通过Bagging（袋装）的方式将多棵决策树集成起来，各决策树之间是独立并行的，也就是所有决策树可以同时构建并且互不影响。而除了Bagging，Boosting（提升）是另一种重要的集成方式。Boosting的核心思想是通过依次构建多个基学习器，后一个基学习器尝试纠...
Xgboost算法详解
杨森彬
02-25 1万+
目录： 一、xgboost算法整体思路 二、本质区别 三、结构分的推导 四、增益公式 五、其他相关问题 一、xgboost算法整体思路 xgboost算法是属于boosting框架的算法。所以xgboost的整体思路满足boosting框架整体思路： –>初始化f0(xi) –>拟合残差树h1(xi)(通过不同的分裂准则，即不同的增益，这也是各个boosting算法的最大的区别，也是本...
xgboost简单介绍_GBT、GBDT、GBRT与Xgboost
weixin_39878401的博客
12-20 450
我们首先介绍下提升树，再依此介绍梯度提升树、GBDT、GBRT，最后介绍Xgboost.提升树(boosting tree)提升树(boosting tree)是以决策树为基本学习器的提升方法，它被认为是统计学习中性能最好的方法之一。对于分类问题，提升树的决策树是二叉决策树，对于回归问题，提升树中的决策是二叉回归树。提升树模型可以表示为决策树为基学习器的加法模型： 其中， 表示第 个决策树， ...
GBT/Xgboost/Lightgbm 之 Xgboost
虎哥的铲屎员
06-29 426
文章目录3. Xgboost3.1 求解目标函数3.1.1 对目标函数二阶泰勒展开式3.1.2定义正则化项3.1.3假定已知树结构，求解树参数3.2 生成树结构3.2.1贪心算法3.2.2 近似算法（直方图）3.3 并行计算3.4 Xgboost和GBT的区别 接上篇GBT。 3. Xgboost xgboost 也使用与提升树相同的前向分步算法，区别在于xgboost的目标函数添加了正则化项。...
机器学习分类算法(八)-XGBoost算法
猫敷雪
07-30 5288
集成算法思想 单个决策树得出的结果效果不一定好，太绝对化，因此采用集成的方法，可以采用两棵树或者多棵树来统计结果。也就是说用一个分类器可能表达的效果不是很好，可以采用多个分类器来统计结果，每个算法相当于一个弱分类器，结合在一起形成强分类器。 如下图所示，我们需要利用一些特征预测用户是否喜欢玩电脑玩游戏。 左边的tree1采用的特征是年龄，我们对不同的年龄给予不同的权重。最终每个用户得出不同的值。这是第一棵决策树预测的结果。 右边的tree2采用的特征是是否每天使用电脑，我们也划分了不同的权重。 最终我们利用
adaboost gbdt xgboost lightgbm
06-28
### 回答1： Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习算法，通过不断迭代，每次训练一个新的决策树来纠正前面树的错误，最终得到一个强分类器。 XGBoost是一种基于GBDT的算法，它在GBDT的基础上引入了正则化和并行化等技术，使得模型更加准确和高效。 LightGBM是一种基于GBDT的算法，它采用了基于直方图的决策树算法和互斥特征捆绑技术，使得模型训练速度更快，占用内存更少，同时也具有较高的准确率。 ### 回答2： adaboost(Adaptive Boosting) 是一种基于不同权重的弱分类器的算法，它通过迭代的方式来逐步提高分类器的准确性。在每轮迭代中，它会调整训练样本的权重，使得前一轮分类错误的样本在当前轮得到更多的关注。最终，通过组合这些弱分类器来构建一个强分类器。其优点在于不易过拟合，但需要耗费大量的时间来训练和预测。 gbdt(Gradient Boosting Decision Tree) 是一种基于决策树的集成学习算法，它通过迭代的方式来提升分类器的准确性。基于训练样本和实际输出的误差进行梯度下降，将它们作为下一个分类器的训练数据。每个分类器都在之前所有分类器得到的残差的基础上进行训练，并且将它们组合成一个最终的分类器。在训练过程中，为了避免过拟合，可以限制决策树的深度等参数，并采用交叉验证等技术。gbdt可以处理缺失数据、不平衡分类和高维度数据等问题，但需要注意过拟合的问题。 xgboost(Extreme Gradient Boosting) 是一种基于决策树的集成学习算法，它在gbdt的基础上引入了正则化项和精细的特征选择，进一步提高了分类器的准确性和效率。通过Hessian矩阵对损失函数进行二阶泰勒展开，引入正则化约束，可以优化损失函数，并通过交叉验证等技术选择最优的超参数。xgboost还支持GPU加速，提高模型训练的速度和效率，但需要更多的计算资源。xgboost在分类、回归和排名任务中表现优异，但需要注意过拟合和计算量的问题。 lightgbm是微软旗下一款高效、快速、分布式的梯度提升框架，也是一种基于决策树的集成学习算法，定位在处理高维度数据和大规模数据集上。lightgbm采用了GOSS(Gradient-based One-Side Sampling)技术和EFB(Exclusive Feature Bundling)技术对数据进行处理，大大减少数据的内存占用和训练时间。同时，还支持并行计算和GPU加速，提高了模型的速度和效率。lightgbm在排序、分类、回归等任务中表现出色，只是对离群值敏感，需要对数据进行预处理。 ### 回答3： Adaboost，Gradient Boosting Decision Tree (GBDT)，XGBoost和LightGBM都是常见的集成学习算法，它们用于提高模型在复杂数据集上的准确度，并处理复杂数据集上遇到的问题。 Adaboost是一种迭代算法，每次迭代它使用提高错误分类样本的加权值，并降低正确分类样本的加权值，以便让前一个弱分类器无法捕捉并由后续分类器学习。Adaboost弱分类器快速训练和预测，且不需要太多超参数调整，但是它倾向于过度拟合数据，并且实力可能不足以解决大型数据集的问题。 GBDT使用决策树作为弱分类器，将每一棵树的预测结果作为下一棵树的预测输入，最后对所有树的预测结果进行加权求和。GBDT可以很好地处理线性和非线性问题，但是它倾向于过度拟合数据，需要进行精细调整参数，并且需要较长时间的训练时间。 XGBoost结合了GBDT的优势和树的强大性质。它采用了一些优秀的技术，如Boosting树算法，Shrinkage，Column Sampling和Pruning Nodes，以提高模型的性能和降低过拟合风险。XGBoost可以处理大规模数据集和高维数据集，并且速度较快，但需要的资源较多，如内存、计算能力和高质量的数据集。 LightGBM是XGBoost的新一代版本，采用了GOI（Gradient-based One-side Sampling）算法和Histogram-based Gradient Boosting方法来加快训练速度和降低内存占用。GOI算法通过对数据进行一侧采样来提高训练速度，而直方图梯度提升方法将节点分裂建模为一个直方图分桶过程，以减少节点分裂的计算成本。LightGBM对大数据集的处理能力很强，速度相对较快，但对于处理小数据集的效果可能不明显。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值