LightGBM，面试会问到的都在这了（附代码）！

最新推荐文章于 2024-04-29 20:00:00 发布
最新推荐文章于 2024-04-29 20:00:00 发布
阅读量1.4k 收藏 10
点赞数 2
分类专栏： machine learning 文章标签： LightGBM GBDT XGBoost 机器学习 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41510260/article/details/95378749
版权

1. LightGBM是什么东东

不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM，在三天之内GitHub上被star了1000次，fork了200次。知乎上有近千人关注“如何看待微软开源的LightGBM？”问题，被评价为“速度惊人”，“非常有启发”，“支持分布式”，“代码清晰易懂”，“占用内存小”等。

LightGBM （Light Gradient Boosting Machine）(请点击https://github.com/Microsoft/LightGBM)是一个实现GBDT算法的框架，支持高效率的并行训练。

LightGBM在Higgs数据集上LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，并且准确率也有提升。GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。

LightGBM提出的主要原因就是为了解决GBDT在海量数据遇到的问题，让GBDT可以更好更快地用于工业实践。

1.1 LightGBM在哪些地方进行了优化 (区别XGBoost)？

  • 基于Histogram的决策树算法
  • 带深度限制的Leaf-wise的叶子生长策略
  • 直方图做差加速直接
  • 支持类别特征(Categorical Feature)
  • Cach
最低0.47元/天 解锁文章
mantchs
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LightGBM常见面试题总结
A496608119的博客
03-31 735
法工程师`常见面试问题总结之`LightGBM常见面试题总结
LightGbmDotNet:用于LightGBM机器学习库的.NET包装器
05-08
LightGbmDotNet 用于机器学习库的.NET包装器，包括GPU支持。 LightGBM是领先的Gradient Boosting解决方案之一，由Microsoft提供开源。 用法（C＃）： using ( var lightGbm = new LightGbm ()) { lightGbm . Train ( trainingData ); // optionally pass parameters var predictions = lightGbm . Predict ( predictionData ); // returns an array of predictions lightGbm . SaveModel ( " somefile.txt " ); // for later reuse of the trained machine lear
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
最新发布
学无止境、积少成多、厚积薄发
04-29 1657
粒子群优化LightGBM分类算法【附python实现代码】
LightGBM面试题
weixin_44852067的博客
04-24 686
xgboost是属于boosting家族，是GBDT算法的一个工程实现在模型的训练过程中是聚焦残差，在目标函数中使用了二阶泰勒展开并加入了正则，在决策树的生成过程中采用了精确贪心的思路，寻找最佳分裂点的时候，使用了预排序算法， 对所有特征都按照特征的数值进行预排序， 然后遍历所有特征上的所有分裂点位，计算按照这些候选分裂点位分裂后的全部样本的目标函数增益，找到最大的那个增益对应的特征和候选分裂点位，从而进行分裂。这样一层一层的完成建树过程。
20240326-2-LightGBM面试题
qq_24428851的博客
04-09 877
直方图算法就是使用直方图统计，将大规模的数据放在了直方图中，分别是每个bin中样本的梯度之和还有就是每个bin中样本数量首先确定对于每一个特征需要多少个箱子并为每一个箱子分配一个整数；将浮点数的范围均分成若干区间，区间个数与箱子个数相等将属于该箱子的样本数据更新为箱子的值最后用直方图表示内存占用更小：相比xgb不需要额外存储预排序，且只保存特征离散化后的值(整型)计算代价更小: 相比xgb不需要遍历一个特征值就需要计算一次分裂的增益，只需要计算k次(k为箱子的个数)直方图做差加速。
微软开源分布式高性能GB框架LightGBM安装使用
weixin_34014555的博客
01-07 282
LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的快速的、分布式的、高性能 gradient boosting（GBDT、GBRT、GBM 或 MART）框架，可被用于排行、分类以及其他许多机器学习任务中。开源项目地址： https://github.com/Microsoft/LightGBM 开源...
lightGBM预测notebook代码
10-07
1）lightGBM预测波士顿房价代码 2）特征重要性可视化 3）模型保存 4）模型加载
DataInsight_code_机器学习_lstmcode_lightGBM_lightgbm代码_
10-02
一次高分比赛项目代码，xgbboost+lightgbm+lstm
LightGBM-MATLAB.rar_foundyt4_lightGBM_matlab lightgbm_termeaa_轻量
07-15
在实际应用中，LightGBM-MATLAB的使用可能涉及并行计算、特征重要性分析、模型解释等多个方面，这些都是机器学习项目中的关键环节。通过熟练掌握LightGBM与MATLAB的结合，你可以更高效地构建和优化预测模型，解决...
temp_python代码_lightGBM_
10-03
LightGBM在大数据分类和回归任务中表现出色，这正是`temp_python代码_lightGBM_`标题所指的内容。 1. **梯度提升决策树（Gradient Boosting Machines, GBMs）** 梯度提升是一种集成学习方法，通过迭代地添加弱预测...
XGBoost与LightGBM文本分类源代码及数据集.zip
04-16
1、内容概要：本资源主要基于XGBoost与LightGBM实现文本分类，适用于初学者学习文本分类使用。 2、数据集为电商真实商品评论数据，主要包括训练集...5、源代码：lightGBM_model.py是基于lightGBM模型对文本进行分类。
LightGBM模型详解
weixin_44852067的博客
04-24 3239
1.背景   LightGBM 是微软开发的 boosting 集成模型，和 XGBoost 一样是对 GBDT 的优化和高效实现，原理有一些相似之处，但它很多方面比 XGBoost 有着更为优秀的表现。官方给出的这个工具库模型的优势如下： 更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可处理大规模数据 支持直接使用 category 特征   下图是一组实验数据，LightGBM比XGBoost快将近 101010 倍，内存占用率大约为XGBoost的 1/61/61/6，并且准确率也有提
面试题3：lightgbm
weixin_40313252的博客
05-04 796
1 LGBM和XGB的差异 LGBM比XGBoost更快，且很好保持住了准确性。它主要从三方面着手： (1) 在树方面，提出了直方图算法寻找最佳分裂点，而且还采用Leaf-wise树生长策略。 (2) 在样本数上，使用GOSS保留所有大梯度样本但随机采样小梯度样本，减少训练样本量。 (3) 在特征数上，使用EFB捆绑互斥特征，将特征变稠密。此外，作者还采用GS编码，在GBDT一类模型中，这是第一次能直接支持类别型特征，不需要提前独热编码后再输入至模型中。最后，同样地，LightGBM也跟XGBoost一样进
基于C语言的LightGBM模型开发记录
weixin_44599357的博客
04-05 746
由于工作需求，在linux服务器（ubuntu）上尝试用c语言调用LightGBM模型并作出预测，但屡屡碰壁，目前还没成功。
一文搞定 GBDT、Xgboost 和 LightGBM 的面试
zandaoguang的博客
07-25 914
来自 | 知乎 作者 |丢丢链接 |https://zhuanlan.zhihu.com/p/148050748编辑 | AI有道本文经作者授权发布，禁二次转载GBDT和XGB基...
LightGBM高级教程：深度集成与迁移学习
Echo_Wish的博客
02-29 622
通过本教程，您学习了如何在Python中使用LightGBM进行深度集成与迁移学习。我们介绍了深度集成的基本概念，并演示了如何将LightGBM与其他模型进行集成。此外，我们还介绍了迁移学习的基本概念，并演示了如何利用已有模型的知识来加速目标任务的学习。通过这篇博客教程，您可以详细了解如何在Python中使用LightGBM进行深度集成与迁移学习。迁移学习是指通过利用源领域的知识来帮助目标领域的学习任务。在LightGBM中，可以通过迁移学习的方式来利用已有模型的知识来加速目标任务的学习。
利用LightGBM分析客群迁徙原因
yang1015661763的博客
06-24 143
通过分析特征的重要性，可以了解客户迁徙的主要驱动因素。这些信息可以帮助企业了解客户迁徙的原因，从而制定相应的策略，促进客户留存和增长。通过训练一个梯度提升树模型，可以获取特征的重要性排名，从而了解哪些特征对于客群迁徙起到关键作用。数据准备：收集包含客户相关数据的数据集，该数据集应包括与客群迁徙相关的特征，如客户属性、行为数据等。数据划分：将数据集划分为训练集和测试集，通常采用交叉验证的方法进行训练和评估模型的性能。特征重要性评估：通过分析训练好的模型，获取特征的重要性排名。属性来获取特征的重要性排序。
增量学习的理解（迁移学习，fit_genrtor区别）
herr_kun的博客
05-14 6013
近日看到了有关增量学习的理解，一开始以为增量学习就是Keras中的fit_genetor,相当于分批次进行学习，防止数据量太大造成内存崩溃而无法学习，并且增量学习可以结合pandas中每次读取一定数目的数据的功能来进行传统机器学习（SVM，lightgbm等）和神经网络的学习。 后来了解到增量学习分为三种：增量学习可以分为3类：样本增量学习（SIL），类别增量学习（CIL），特征增量学习（F...
LightGBM安装与配置指南：从Windows到GPU
- 在Windows上，首先从GitHub克隆LightGBM代码并使用`cmake`构建工具。对于GPU支持，需要设置相应的环境变量（如`DOpenCL_LIBRARY`和`DOpenCL_INCLUDE_DIR`）。在Python环境中，通过`python setup.py install --...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值