大规模GBDT系统应用场景及效果对比(LightGBM,XgBoost,DimBoost等)

最新推荐文章于 2024-04-10 10:54:57 发布
最新推荐文章于 2024-04-10 10:54:57 发布
阅读量1.6k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546838
版权

Fangcheng Fu, Jiawei Jiang, Yingxia Shao, Bin Cui

Peking University, Beijing University of Posts and Telecommunications, Tencent

VLDB 2019

https://arxiv.org/pdf/1907.01882.pdf

GBDT是一种广泛应用的机器学习算法，该算法不仅广泛应用于数据分析竞赛中，而且在工业界也广泛应用。由于数据量的快速增长，部分研究人员试图利用分布式来训练GBDT，进而支撑大规模工作负载。

然而，现有系统在管理训练数据方面方式各异，而且他们都未曾研究数据管理所带来的影响。这篇文章旨在研究多种数据管理方法的优劣，并对这些分布式GBDT的性能进行比较。

这篇文章基于数据分区和数据存储对数据管理策略进行了象限划分。然后进行深度系统分析，并对各个象限的适用场景进行总结。基于以上分析，这篇文章提出一种新的分布式GBDT系统，名曰Vero，该系统采用了纵向分区和行式存储，这种组合适用于很多大规模数据的情景。

为了验证本文的分析，作者们基于同样代码实现了多个象限，并且在大量工作负载下对比了这些象限，最终在多个数据集上将Vero跟其他STOA系统进行对比。

根据本文的理论分析和实验结果，在给定工作负载的前提下，可以对如何选择适当的数据管理方式进行指导。

上面所提到的纵向分区即为基于特征的类别对数据进行列式分区，而横向分区即为按样本进行分区。而所谓行式存储即为以(特征下标, 特征值)对的方式进行存储，即Compressed Sparse Row (CSR) 格式，而列式存储即为以(样本下标, 特征值)对的方式进行存储，即Compressed Sparse Column (CSC)格式。

几种方法对应的象限如下

640?wx_fmt=png

XGBoost是横向分区，列式存储的，即按样本进行分区，并且每个样本的所有特征存在一起; LightGBM和DimBoost是横向分区，行式存储的，即按样本进行分区，并且每个样本的特征是按(特征下标，特征值)对存储的，并不是一个样本的所有特征都在一个分区；Yggdrasil是纵向分区，列式存储的，即按特征进行分区，并且样本的同一个特征存在一起

GBDT结构图示如下

最低0.47元/天 解锁文章
frank_hetest
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
技术实践干货 | 初探大规模 GBDT 训练
AI+BI,大数据分析,数据可视化,商业智能,数据驾驶舱 - 观远数据
07-27 757
本文是此前评估在 Spark 上做大规模 GBDT 训练时写的一篇入门级教程与框架评估。目前市面上似乎没有多少使用 Spark 来跑 GBDT 的分享，故分享出来看看是否有做过类似场景的同学可以一道交流。
KDD2018|基于GBM的动态定价回归模型
hestendelin的专栏
12-02 3011
Customized Regression Model for Airbnb Dynamic PricingPeng Ye, Julian Qian, Jieying Chen, Che...
机器学习 集成学习各算法-gbdt，xgboost，lightgbm比较及优缺点特征总结
a1272899331的博客
03-07 1万+
随机森林 优点 具有极高的准确率 随机性的引入，使得随机森林不容易过拟合，有很好的抗噪声能力，对异常点离群点不敏感 能处理很高维度的数据，并且不用做特征选择 既能处理离散型数据，也能处理连续型数据，数据集无需规范化（归一化） 实现简单，训练速度快，可以得到变量重要性排序（计算每个特征在分裂时被选到的次数或者某个特征不纯度平均下降了多少） 容易实现并行化 在创建随机森林的时候，对gen...
深度探索：机器学习XGBoost原理及其应用
最新发布
qq_51320133的博客
04-10 1063
XGBoost作为梯度提升树算法的优秀实现，凭借其高效性、准确性、灵活性等优势，已成为现代机器学习工具箱中的重要组成部分。尽管面临参数众多、过拟合风险等问题，但通过合理的参数调整、正则化策略以及与其他模型的集成，XGBoost在实际应用中展现出强大的竞争力。未来，随着计算硬件的发展和算法的持续优化，XGBoost有望在更大规模、更高维度、更复杂结构的数据上发挥更大的作用。同时，结合深度学习、自动机器学习等先进技术，XGBoost将持续推动机器学习技术的进步，为各行各业的数据驱动决策提供有力支持。
转载：GBDT算法梳理
weixin_30387423的博客
03-04 270
学习内容： 前向分布算法 负梯度拟合 损失函数 回归 二分类，多分类 正则化 优缺点 sklearn参数 应用场景 转自：https://zhuanlan.zhihu.com/p/58105824 GBDT是一种采用加法模型（即基函数的线性组合）与前向分步算法并以决策树作为基函数的提升方法。通俗来说就是，该算法由多棵决策树组成，所有树的结论加起来形成最终答...
几种Boost算法的比较(Discrete AdaBoost, Real AdaBoost, LogitBoost, Gentle Adaboost)
weixin_30437847的博客
07-04 765
关于boost算法 　　boost算法是基于PAC学习理论（probably approximately correct）而建立的一套集成学习算法(ensemble learning)。其根本思想在于通过多个简单的弱分类器，构建出准确率很高的强分类器，PAC学习理论证实了这一方法的可行性。下面关于几种Boost算法的比较，是基于文章《Additive Logistic Regressi...
GBDT实现：XGBoost、LightGBM、Catboost对比.ipynb
02-19
GBDT实现：XGBoost、LightGBM、Catboost对比 参考https://www.kaggle.com/lavanyashukla01/battle-of-the-boosting-algos-lgb-xgb-catboost
Lightgbm和Xgboost对比范例
01-05
LightGBM和XGBoost各有优劣，选择哪个取决于具体的应用场景和资源限制。对于大数据集和内存敏感的环境，LightGBM可能是更好的选择；而如果追求极致的模型精度，XGBoost可能更合适。通过实际案例，我们可以直观地看到...
XGBoost与LightGBM文本分类源代码及数据集.zip
04-16
1、内容概要：本资源主要基于XGBoost与LightGBM实现文本分类，适用于初学者学习文本分类使用。 2、数据集为电商真实商品评论数据，主要包括训练集data_train，测试集data_test ，经过预处理的训练集clean_data_train...
GBDT、XGBoost&LightGBM.pdf
06-16
GBDT、XGBoost&LightGBM.pdf
LightGBM中的GBDT实现
07-20
LightGBM中的GBDT实现
机器学习算法的应用场景
10-05
机器学习算法的应用场景，主要介绍机器学习在各个领域的应用。
LightGBM（lgb）详解
weixin_44023658的博客
06-13 6万+
1. LightGBM简介 GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT
GBDT算法及其应用
zhengyoufang的博客
02-25 559
目录 01 提升树之Adaboost算法的介绍 02 梯度提升树之DBDT算法的介绍 03 非平衡数据的处理 04 DBDT的改进之XGBoost算法介绍 05 各集成算法的应用实战 01 提升树之Adaboost算法的介绍 损失函数类型：https://zhuanlan.zhihu.com/p/58883095 目标函数和损失函数Andrew Ng Machine Learning：https://www.zhihu.com/question/52398145 Adaboost分类算法步骤
大白话GBDT算法-通俗理解GBDT原理
06-25
本课程分为4个模块。第一个模块通过预测年龄的直观案例理解GBDT算法流程。第二个模块通过GBDT的三要素：GB(梯度提升)，DT(回归树)和Shrinkage(缩减)理解GBDT的算法核心。第三个模块通过剖析分类和回归损失函数来讲解GBDT在分类和回归方面的应用。第四个模块通过手动方式一步步拆解讲解GBDT回归，二分类，多分类的过程，还原真实迭代流程。第五个模块通过真实案例讲解GBDT的工作中所用API。资料： 视频：
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？...
深度学习与计算机视觉
10-22 5879
链接：https://www.zhihu.com/question/26726794编辑：深度学习与计算机视觉声明：仅做学术分享，侵删k近邻、贝叶斯、决策树、svm、逻辑斯蒂回归和最大熵...
GBDT（MART） 迭代决策树入门教程 | 简介
热门推荐
w28971023的专栏
11-29 18万+
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下：                GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（g
GBDT的原理和应用
文西
10-23 1万+
周二、周三参加了QCon上海2017|全球软件开发大会，听了几场机器学习相关的 Session，多次提及 GBDT（Gradient Boost Decision Tree)，并且在模型演化历史中，都有很重要或者最重要的地位。如《Pinterest如何利用机器学习实现两亿月活跃用户》提到的模型发展历史，GBDT带来过巨大的效果提升。迭代决策树（GBDT）《唯品金融机器学习实践》中也提到因为GBDT
GBDT算法原理以及实例理解
Freemanzxp
03-12 14万+
【尊重原创，转载请注明出处】http://blog.csdn.net/zpalyq110/article/details/79527653 　　GBDT 的全称是 Gradient Boosting Decision Tree，梯度下降树，在传统机器学习算法中，GBDT算的上TOP3的算法。想要理解GBDT的真正意义，那就必须理解GBDT中的Gradient Boosting 和Decision...
adaboost gbdt xgboost lightgbm
06-28
### 回答1： Adaboost、GBDT、XGBoost和LightGBM都是机器学习中常用的集成学习算法。 Adaboost是一种迭代算法，通过不断调整样本权重和分类器权重，逐步提高分类器的准确率。 GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习算法，通过不断迭代，每次训练一个新的决策树来纠正前面树的错误，最终得到一个强分类器。 XGBoost是一种基于GBDT的算法，它在GBDT的基础上引入了正则化和并行化等技术，使得模型更加准确和高效。 LightGBM是一种基于GBDT的算法，它采用了基于直方图的决策树算法和互斥特征捆绑技术，使得模型训练速度更快，占用内存更少，同时也具有较高的准确率。 ### 回答2： adaboost(Adaptive Boosting) 是一种基于不同权重的弱分类器的算法，它通过迭代的方式来逐步提高分类器的准确性。在每轮迭代中，它会调整训练样本的权重，使得前一轮分类错误的样本在当前轮得到更多的关注。最终，通过组合这些弱分类器来构建一个强分类器。其优点在于不易过拟合，但需要耗费大量的时间来训练和预测。 gbdt(Gradient Boosting Decision Tree) 是一种基于决策树的集成学习算法，它通过迭代的方式来提升分类器的准确性。基于训练样本和实际输出的误差进行梯度下降，将它们作为下一个分类器的训练数据。每个分类器都在之前所有分类器得到的残差的基础上进行训练，并且将它们组合成一个最终的分类器。在训练过程中，为了避免过拟合，可以限制决策树的深度等参数，并采用交叉验证等技术。gbdt可以处理缺失数据、不平衡分类和高维度数据等问题，但需要注意过拟合的问题。 xgboost(Extreme Gradient Boosting) 是一种基于决策树的集成学习算法，它在gbdt的基础上引入了正则化项和精细的特征选择，进一步提高了分类器的准确性和效率。通过Hessian矩阵对损失函数进行二阶泰勒展开，引入正则化约束，可以优化损失函数，并通过交叉验证等技术选择最优的超参数。xgboost还支持GPU加速，提高模型训练的速度和效率，但需要更多的计算资源。xgboost在分类、回归和排名任务中表现优异，但需要注意过拟合和计算量的问题。 lightgbm是微软旗下一款高效、快速、分布式的梯度提升框架，也是一种基于决策树的集成学习算法，定位在处理高维度数据和大规模数据集上。lightgbm采用了GOSS(Gradient-based One-Side Sampling)技术和EFB(Exclusive Feature Bundling)技术对数据进行处理，大大减少数据的内存占用和训练时间。同时，还支持并行计算和GPU加速，提高了模型的速度和效率。lightgbm在排序、分类、回归等任务中表现出色，只是对离群值敏感，需要对数据进行预处理。 ### 回答3： Adaboost，Gradient Boosting Decision Tree (GBDT)，XGBoost和LightGBM都是常见的集成学习算法，它们用于提高模型在复杂数据集上的准确度，并处理复杂数据集上遇到的问题。 Adaboost是一种迭代算法，每次迭代它使用提高错误分类样本的加权值，并降低正确分类样本的加权值，以便让前一个弱分类器无法捕捉并由后续分类器学习。Adaboost弱分类器快速训练和预测，且不需要太多超参数调整，但是它倾向于过度拟合数据，并且实力可能不足以解决大型数据集的问题。 GBDT使用决策树作为弱分类器，将每一棵树的预测结果作为下一棵树的预测输入，最后对所有树的预测结果进行加权求和。GBDT可以很好地处理线性和非线性问题，但是它倾向于过度拟合数据，需要进行精细调整参数，并且需要较长时间的训练时间。 XGBoost结合了GBDT的优势和树的强大性质。它采用了一些优秀的技术，如Boosting树算法，Shrinkage，Column Sampling和Pruning Nodes，以提高模型的性能和降低过拟合风险。XGBoost可以处理大规模数据集和高维数据集，并且速度较快，但需要的资源较多，如内存、计算能力和高质量的数据集。 LightGBM是XGBoost的新一代版本，采用了GOI（Gradient-based One-side Sampling）算法和Histogram-based Gradient Boosting方法来加快训练速度和降低内存占用。GOI算法通过对数据进行一侧采样来提高训练速度，而直方图梯度提升方法将节点分裂建模为一个直方图分桶过程，以减少节点分裂的计算成本。LightGBM对大数据集的处理能力很强，速度相对较快，但对于处理小数据集的效果可能不明显。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值