lightGBM和XGBoost使用方法总结

最新推荐文章于 2024-06-27 19:11:19 发布
最新推荐文章于 2024-06-27 19:11:19 发布
阅读量2.3k 收藏 3
点赞数 1
分类专栏： 提升算法 文章标签： lightGBM XGBoost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012535605/article/details/83655664
版权
本文总结了lightGBM和XGBoost的两种使用方法：直接导入库并处理数据，以及采用类似Sklearn的接口进行训练。对于lightGBM，需要将数据转化为Dataset格式；对于XGBoost，需要使用DMatrix。此外，还展示了如何用Sklearn接口训练XGBoost和lightGBM模型。
摘要由CSDN通过智能技术生成

1.直接import  lightgbm as lgt 和import  XGBoost as lgt

这种方式在做训练的时候需要把数据转换成模型所能处理的格式，刚入手的人容易犯错

lightGBM为Dataset格式：
lgb_train = lgb.Dataset(train_X, train_y, free_raw_data=False)
lgb_eval = lgb.Dataset(test_X, test_y, reference=lgb_train,free_raw_data=False)
bst=lgb.cv(param,lgb_train, num_boost_round=1000, nfold=6, early_stopping_rounds=100)

XGBoost为DMatrix格式
dtrain = xgb.DMatrix( train_X, label=train_y)
dtest = xgb.DMatrix( test_X, label=test_y)
bst = xgb.train( params, dtrain, num_round )

estimators = lgb.train(param,lgb_train,num_boost_round=len(bst['auc-mean']))

2.利用和Sklearn类似包处理，较简洁，与其他Sklearn一样的使用方法

最低0.47元/天 解锁文章
千语_肉丸子
关注
专栏目录
说一说xgboost和lightgbm的区别是什么
qq_39173848的博客
06-15 1498
前面提到了，LightGBM是Xgboost的更高效实现， 由微软发布。XGBoost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。LightGBM相比于Xgboos
从XGboost到lightGBM
Andy_shenzl的博客
06-18 315
XGboost XGBoost是GBDT的一种高效实现，但是里面也加入了很多独有的思路和方法 我们先回顾一下CART回归树 CART回归树 CART回归树是假设树的结构为二叉树，通过不断将特征进行分裂去完成整个树的构建。比如当前树结点是基于第j个特征值进行分裂的，设该特征值小于s的样本划分为左子树，大于s的样本划分为右子树，即 R1(j,s)={x∣x(j)≤s}  and   R2(j,s)={x∣x(j)>s}R_1(j,s)=\begin{Bmatrix}x|x^{(j)}\leq s \end
案例 | lightgbm算法优化-不平衡二分类问题（附代码）
weixin_33872660的博客
03-12 7200
本案例使用的数据为kaggle中“Santander Customer Satisfaction”比赛的数据。此案例为不平衡二分类问题，目标为最大化auc值（ROC曲线下方面积）。目前此比赛已经结束。 竞赛题目链接为： https://www.kaggle.com/c/santander-customer-satisfaction 2.建模思路 本文档...
LightGBM算法与XGboost对比
最新发布
zy345293721的博客
06-27 1077
论文地址：《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》：https://proceedings.neurips.cc/paper_files/paper/2017/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf。
数据处理（2.1）点击数据处理-lgb 训练实战
随意聊点
06-08 3996
这篇文章主要将上一篇文章中的 lgb 训练函数列出来，上一篇主要详细讲解预处理和后处理。 import lightgbm as lgb import numpy as np 1. 输入参数介绍 输入参数主要有： 训练集的特征列 训练集的标签列 验证集的特征列 验证集的标签列 cate_cols 指明类别特征 任务的类型 job=“classification” def base_train(x_train, y_train, x_test, y_test, cate_cols=..
lgb参数
qq_23069955的博客
06-12 2万+
参数： params = {'learning_rate': 0.2, # default=0.1, type=double, alias=shrinkage_rate 'application': 'binary', # default=regression，任务类型 'num_leaves': 31, #...
机器学习实战:GBDT Xgboost LightGBM对比
hellozhxy的博客
09-06 1412
Mnist数据集识别 使用Sklearn的GBDT GradientBoostingClassifier GradientBoostingRegressor import gzip import pickle as pkl from sklearn.model_selection import train_test_split def load_data(path): f = ...
Windows-python2、3-lightgbm和xgboost安装包（附安装教程）
08-05
在本文中，我们将深入探讨如何在Windows 10操作系统，64位环境下，使用Python 3.7.0和Anaconda 3安装`lightgbm`与`xgboost`这两个机器学习库。这两个库在数据科学和机器学习领域中广泛应用，特别是用于构建高效的...
Lightgbm和Xgboost对比范例
01-05
标题"Lightgbm和Xgboost对比范例"表明这是一个关于比较两种机器学习库——LightGBM和XGBoost的实例。这两个都是基于梯度提升决策树（Gradient Boosting Decision Trees）的高效工具，常用于解决分类和回归问题，特别...
【机器学习基础】你应该知道的LightGBM各种操作！
fengdu78的博客
10-21 2541
LightGBM是基于XGBoost的一款可以快速并行的树模型框架，内部集成了多种集成学习思路，在代码实现上对XGBoost的节点划分进行了改进，内存占用更低训练速度更快。LightGB...
lgb.cv函数使用方法
weixin_44414593的博客
09-22 8159
性感官方，在线文档 只写常用的参数 参数 params 基学习器的参数。详细参数就是LGBRegressor或者 train_set 训练集。 nfold n折交叉验证。 metrics 评价标准。 num_boost_round 最大迭代次数。 early_stopping_rounds 早停轮数。 verbose_eval 每间隔n个迭代就显示一次进度 stratified 默认True，是否采用分层抽样，建议采用。 shuffle 默认True，是否洗牌，不建议采用。 seed 相当于random_s
树类算法之--XGBoost算法原理&代码实战
Ricky
03-26 9004
1.算法原理介绍 1.1Xgboost简介 xgboost是Boosting算法的其中一种，Boosting算法的思想是许多弱分类器集成在一起，形成一个强分类器。以为xgboost是一种提升树模型，所以他是将许多树模型集成在一起，形成一个很强的分类器。而所用到的树模型则是cart回归树模型。 xgboost是在GBDT的基础上进行改进，使得更加强大，使用范围更大 xgboost一般和sklear...
lgb多分类参数设置
qq_44643395的博客
09-05 1万+
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/weixin_41089007/article/details/90510248 数据 train_x, test_x, train_y, test_y = train_test_split(data, target, shuffle = ...
python xgboost调参_模型融合---Xgboost调参总结
weixin_39818691的博客
12-24 778
一、xgboost简介：全称：eXtreme Gradient Boosting作者：陈天奇(华盛顿大学博士)基础：GBDT所属：boosting迭代型、树类算法。适用范围：分类、回归优点：速度快、效果好、能处理大规模数据、支持多种语言、支持自定义损失函数等等。缺点：算法参数过多，调参负责，对原理不清楚的很难使用好XGBoost。不适合处理超高维特征数据。二、参数速查参数分为三类：通用参数：宏观函...
机器学习算法之LightGBM
kwame211的博客
02-25 5617
这篇文章我们继续学习一下GBDT模型的另一个进化版本：LightGBM。LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 LightGBM在很多方面会比XGBoost表现的更为优秀。它有以下优势： 更快的训练效率 低内存...
LightGBM调参笔记
热门推荐
浅笑古今的博客
11-05 6万+
1. 概述 在竞赛题中，我们知道XGBoost算法非常热门，是很多的比赛的大杀器，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了LightGBM。该算法在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升算法。可用于排序，分类，回归以及很多其他的机器学习任务中...
集成学习lgb库调参的粒子群方法
weixin_33915554的博客
06-12 579
粒子群算法是模拟鸟群蜂群的觅食行为的一种算法。基本思想是通过群体中个体之间的协作和信息共享来寻找最优解。试着想一下一群鸟在寻找食物，在这个区域中只有一只虫子，所有的鸟都不知道食物在哪。但是它们知道自己的当前位置距离食物有多远，同时它们知道离食物最近的鸟的位置。想一下这时候会发生什么？ 鸟A：哈哈哈原来虫子离我最近！鸟B,C,D：我得赶紧往 A 那里过去看看！同时各只鸟在位置不停变化时候离食物的距离...
树类算法之---lightGBM使用与调参
Ricky
04-23 9562
1. 说明 官方文献说明，想深入研究的可以戳进去进一步学习 lightGBM是一个基于树模型的分布式Boosting算法，该算法是有微软开源贡献，说到tree-based模型一般都会想到XGBOOST算法，毕竟也是曾经的大杀器，那下面就把这两个算法进行一些对比。 2.Xgboost的优缺点 优点：(不详细说了，默认有树模型基础) 1.Xgboost利用的二阶梯度，相对于lightGBM在进行节点...
lightgbm和xgboost
02-03
LightGBM和XGBoost都是常用的梯度提升树（Gradient Boosting Decision Tree）算法库，用于解决分类和回归问题。它们在机器学习和数据挖掘领域广泛应用，并且在许多数据竞赛中取得了优异的成绩。 LightGBM（Light Gradient Boosting Machine）是由微软开发的一种高效的梯度提升树算法库。相比于传统的梯度提升树算法，LightGBM具有更快的训练速度和更低的内存消耗。它采用了基于直方图的决策树算法，通过对特征值进行离散化，减少了计算量。此外，LightGBM还支持并行化训练和分布式计算，可以处理大规模数据集。 XGBoost（eXtreme Gradient Boosting）是由陈天奇开发的一种梯度提升树算法库。它在梯度提升树的基础上引入了正则化项，通过控制模型复杂度来提高泛化能力。XGBoost具有较高的准确性和鲁棒性，并且支持并行化训练和分布式计算。它还提供了丰富的参数调优选项，可以根据具体问题进行优化。 总结一下，LightGBM和XGBoost都是强大的梯度提升树算法库，它们在训练速度、内存消耗和准确性等方面都有优势。选择使用哪个算法库取决于具体的问题和数据集特征。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值