机器学习时代三大神器GBDT(MART)、XGBoost、LightGBM

最新推荐文章于 2024-10-30 12:03:33 发布
最新推荐文章于 2024-10-30 12:03:33 发布
阅读量710 收藏 1
点赞数 1
文章标签： GBDT XGBoost LightGBM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/100191393
版权

机器学习时代三大神器GBDT、XGBoost、LightGBM

都属于集成学习Boosting算法

 

 

梯度提升决策树GDBT(MART)

GBDT属于Boosting算法

GBDT有时又被称为MART(Multiple Additive Regression Tree)

GBDT中使用的决策树通常为CART(分类与回归树)

 

举例来说， 假设我们要预测一个人的年龄，训练集只有A、B、C、D 4个人，他们的年龄分别是14、16、24、26，特征包括了“月购物金额”“上网时长”“上网历史”等。下面开始训练第一棵树，训练的过程跟传统决策树相同，简单起见，我们只进行一次分枝。训练好第一棵树后，求得每个样本预测值与真实值之间的残差。可以看到，A、B、C、D的残差分别是-1、1、-1、1。这时我们就用每个样本的残差训练下一棵树，直到残差收敛到某个阈值以下，或者树的总数达到某个上限为止。

由于GBDT是利用残差训练的，在预测的过程中，我们也需要把所有树的预测值加起来，得到最终的预测结果。

 

 

XGBoost

XGBoost是boosting算法的其中一种，采用的是贪心策略

XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中。

GBDT是机器学习算法，XGBoost是该算法的工程实现

原始的GBDT算法基于经验损失函数的负梯度来构造新的决策树，只是在决策树构建完成后再进行剪枝。而XGBoost在决策树构建阶段就加入了正则项来控制模型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。

 

 

LightGBM

LightGBM是GBDT模型的进步版本，它和XGBoost一样是对GBDT的高效实现

LightGBM在很多方面会比XGBoost表现的更为优秀

 

hxxjxw
关注
GBDT、XGBoost、LightGBM的区别和联系
景风眠的博客
03-12 1496
本文详细阐述了GBDT、XGBoost和LightGBM的区别和联系。
GBDT与XGBoost与LightGBM
weixin_49717022的博客
07-20 782
1. XGBoost与GBDT的区别 GBDT: 它是一种基于boosting增强策略的加法模型，训练的时候采用前向贪心算法进行学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值之间的残差。 XGBoost: 在GBDT基础上进行了一系列优化，比如损失函数采用了二阶泰勒展式、目标函数加入正则项、支持并行和缺失值自动处理等，但二者在核心思想上没有大的变化。 相同点： 生成树的核心思想及方法相同。 不同点： 1.基分类器：XGBoost的基分类器不仅支持CART决策树，还
LightGBM：基于决策树算法的快速，分布式，高性能梯度提升（GBT，GBDT，GBRT，GBM或MART）框架，用于排名，分类和许多其他机器学习任务
02-03
渐变光机 LightGBM是使用基于树的学习算法的梯度增强框架。 它被设计为分布式且高效的，具有以下优点： 训练速度更快，效率更高。 降低内存使用率。 更好的准确性。 支持并行和GPU学习。 能够处理大规模数据。 有关更多详细信息，请参阅。 受益于这些优势，LightGBM被广泛用于许多机器学习竞赛的中。 在公共数据集上进行的表明，LightGBM可以在效率和准确性上均优于现有的Boosting框架，并且显着降低了内存消耗。 此外， 表明，LightGBM可通过使用多台机器进行特定设置的训练来实现线性加速。 入门和文档 我们的主要文档位于并从该存储库生成。 如果您不熟悉LightGBM，请按照站点上进行。 接下来，您可能需要阅读： 显示常见任务命令行用法的。 LightGBM支持的和算法。 是您可以进行的自定义的详尽列表。 和可以加快计算速度。 是有关超参数的详细指南。 为LightGBM超参数（）提供自动调整。 贡献者文档： 。 查阅《 。 新闻 请参考页面上的变更日志。 一些重要的更新日志可在“页面上找到。 外部（非官方）存储库 Optun
GBDT、XGBoost、LightGBM
guochampion的博客
04-25 724
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。AdaBoost原理原始的AdaBoost算法是在算法开始的时候，为每一个样本赋上一个权重值，初始的时候，大家都是一样重要的。在每一步训练中得到的模型，会使得数据点的估计有对有错，我们就在每一步...
机器学习三大神器:GBDT,XGBOOST和LightGBM
qq_36608036的博客
02-03 521
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。 AdaBoost原理 原始的AdaBoost算法是在算法开始的时候，为每一个样本赋上一个权重值，初始的时候，大家都是一样重要的。在每一步训练中得到的模型，会使得数据点的估计有对有错，我们就在每一步结束后，增加分错的点的权重，减少分对的点的权重，这样使得某些点如果老是被分错，那么就会被“重点关注”，也就被
GBDT、XGBoost、LightGBM汇
qfikh的博客
04-14 2900
Ref：深入理解XGBoost 本文是在原文基础上进行修补。 XGBoost原理推倒： （1）目标函数： （2）第一项泰勒展开： （3）第二项-定义树的复杂度： （4）最终的目标函数： （5）一棵树的生成细节： （5.1）首先列采样，随机选出K列特征作为划分特征； （5.2）然后这K列进行并行运算，针对每列特征将数据生序排列，保存为block结构 ...
【机器学习】最强比较！GBDT 与 LightGBM ！！
最新发布
fengdu78的博客
10-30 43
之前做了不少算法在不同情况下的对比，今天想要和大家聊聊的是关于GBDT 与 LightGBM的内容~首先咱们从简单的一个介绍开始，GBDT 和 LightGBM 都属于梯度提升树模型，它们是集成学习中的一种方法，通过构建多个弱学习器（通常是决策树）来提升整体的预测效果。这两者的核心思想是：每棵新树都在减少之前模型的误差，最终形成一个强大的模型。GBDT：GBDT通过多棵树的梯度加权提升来减少误...
LightGBM中的GBDT实现
07-20
LightGBM中的GBDT实现
GBDT（MART）概念简介
weixin_34153893的博客
08-27 186
GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种用于回归的机器学习算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分类或排序。 本文主要从高层明确几个GBDT概念，主要讲GBDT的两个版本以及GBDT是什么不是什...
机器学习GBDT, XGBoost, LightGBM对比
sanjianjixiang的博客
12-17 2306
一. 梯度提升决策树GBDT GBDT(Gradient Boosting Decision Tree)的核心在于: 每一棵树学的是之前所有树结论和的残差(负梯度)，这个残差就是一个加预测值后能得真实值的累加量。 在分类问题中，GBDT的损失函数跟逻辑回归一样，采用的对数似然函数。 在回归问题中，GBDT采用最小化误差平方(ls)。在每一个叶子节点都会得到一个预测值，该预测值等于属于这个节点的所有...
gbdt:GBDT(MART) 和 LambdaMART 训练和预测包
06-13
毫升-gbdt ml-gbdt是一个 GBDT(MART) 和 LambdaMART 训练和预测包。 编译 使用Visual Studio制作或编译它。 训练 ./gbdt-train -c [配置文件] ./lm-train -c [配置文件] 预测 ./gbdt-predict -c [配置文件] ./lm-predict -c [配置文件] 配置文件 ###一个 gbdt-train/gbdt-predict 示例 详细 = 1 最大级别 = 5 max_leaf_number = 20 min_values_in_leaf = 10 树号 = 400 学习率 = 0.1 训练样本 = 输入 training_sample_format = liblinear 模型 = output.json gbdt_sample_rate = 0.9 gbdt_loss
定制版LightGBM
06-24
本文件主要基于微软开源的LightGBM项目，对其中的application.h,application.hpp,predictor.hpp文件进行修改，添加用于实时预测的C++ API ，方便用户部署预测速度飞快的C/C++线上预测模型。
GBDT、XGBoost&LightGBM.pdf
06-16
GBDT、XGBoost与LightGBM是数据科学和机器学习领域中广泛使用的集成学习算法，尤其在处理回归和分类问题中表现出色。GBDT全称梯度提升决策树（Gradient Boosting Decision Tree），是一种迭代的决策树算法，通过逐步...
数据分析三大神器之三：matplotlib
任昌伟
08-19 412
GBDT、XGBoost、LightGBM简要描述
hezi321的博客
10-11 824
1.GBDT (1.)GBDT原理 GBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了，它里面的弱分类器的表现形式就是各棵树。 举一个非常简单的例子，比如我今年30岁了，但计算机或者模型GBDT并不知道我今年多少岁，那GBDT咋办呢？ 它会在第一个弱分类器（或第一棵树中）随便用一个年龄比如20岁来拟合，然后发现误差有10岁； 接下来在第二棵树中，用6岁去拟合剩下的损失，发现差距还有4岁； 接着在第三棵树中
GBDT、XGBoost、LightGBM算法详解
酒酿小圆子呀～
05-23 1991
在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。然后我们拿残差替代A,B,C,D的原值，到第二棵树去学习，如果我们的预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到真实年龄了。从树深度0开始，每一节点都遍历所有的特征，比如年龄、性别等等，然后对于某个特征，先按照该特征里的值进行排序，然后线性扫描该特征进而确定最好的分割点，最后对所有特征进行分割后，我们选择所谓的增益Gain最高的那个特征。
机器不学习：机器学习时代的三大神器:GBDT,XGBOOST和LightGBM
WJWFighting的博客
09-08 771
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。 AdaBoost原理 原始的AdaBoost算法是在算法开始的时候，为每一个样本赋上一个权重值，初始的时候，大家都是一样重要的。在每一步训练中得到的模型，会使得数据点的估计有对有错，我们就...
GBDT&XGBoost&LightGBM的区别
CoderBoom的博客
03-13 436
GBDT&XGBoost&LightGBM的区别 GBDT ​ 梯度提升树是在提升树的基础上发展而来的一种适用范围更广的方法 , 当处理回归问题时 , 提升树可以看作是梯度提升树的特例(分类问题时不时特例) . 因为提升树在构建树的每一步的过程中都是去拟合上一步获得模型在训练集上的残差 . 这个残差正好是损失函数的梯度 , 对应于GBDT每一步要拟合的对象 . 主要思想 ​ 在...
adaboost gbdt xgboost lightgbm
06-28
Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值