LGBM调参方法学习

最新推荐文章于 2025-04-08 15:35:45 发布
原创 最新推荐文章于 2025-04-08 15:35:45 发布
· 2.4w 阅读 · 120 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ML #LGBM #调参

本文介绍了LGBM的主要参数，包括objective、boosting、learning_rate等，并详细阐述了调参过程，特别是利用sklearn的GridSearchCV进行参数搜索。通过分析不同指标和参数对模型性能的影响，探讨了如何有效避免过拟合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、了解LGBM参数：

LGBM是微软发布的轻量梯度提升机，最主要的特点是快，回归和分类树模型。使用LGBM首先需要查看其参数含义：
微软官方github上的说明：
https://github.com/Microsoft/LightGBM/blob/master/docs/Parameters.rst#early_stopping_round
LGBM中文手册：
http://lightgbm.apachecn.org/#/docs/2

所以大致了解参数设置：
1、核心参数：
“objective”: “regression”,
‘boosting’:‘gbdt’,
“learning_rate”: 0.05,
‘num_iterations’:100,
“num_leaves”: 31,
‘num_threads’:-1,
2、学习控制参数
“max_depth”: 10,
‘feature_fraction’:1,
‘bagging_fraction’:0.8,
‘bagging_freq’:8,
‘lambda_l1’:0,
‘lambda_l2’:0,
“min_data_in_leaf”: 20
‘min_sum_hessian_in_leaf’:1e-3

最低0.47元/天 解锁文章
LightGBM之LGBMRegressor()参数详解以及调参
我走的每一步都算数
09-19 3128
LightGBMLight Gradient Boosting Machine）是一种梯度提升框架，它使用决策树作为基学习器。LightGBM 可以说是在 XGBoost 上做的优化。LightGBM 为高效并行计算而生，它的 Light 体现在以下几个点上：更快的训练速度更低的内存使用支持单机多线程，多机并行计算，以及 GPU 训练能够处理大规模数据。
LightGBM原理和调参
一蓑烟雨任平生
01-10 1803
在进行调参之前应该做好特征工程，确定特征后，更加数据规模和几个模型尝试的结果初步敲定这几个参数，然后使用或来调整max_depthnum_leavessubsamplereg_alphareg_lambda。其中重点要调节max_depth和num_leaves，并注意两者的关系，其次subsample和在[0-1000]之间去进行粗略的调整下即可，reg_alpha和reg_lambda在[0,1000]范围调整，最后比较好的模型这两个参数值不应过大，尤其是reg_alpha，过大需要查看特征。
lgbm调参指南-记录
人生是一场修行
08-13 3103
基本调参思路，首先设置lr=0.1确定树的数量，然后调整每颗树的内部参数到最佳。确定树的内部参数后，用该参数，降低lr，反调lr和树的数量。 参数介绍： 参考：https://zhuanlan.zhihu.com/p/27916208
【机器学习案列-15】基于LightGBM算法的互联网防火墙异常行为检测：数据不平衡的解决方案
最新发布
qq_38614074的博客
04-08 1520
🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。💬 博主粉丝群介绍：① 群内初中生、高中生、本科生、研究生、博士生遍布，可互相学习，交流困惑。② 热榜top10的常客也在群里，也有数不清的万粉大佬，可以交流写作技巧，上榜经验，涨粉秘籍。③ 群内也有职场精英，大厂大佬，可交流技术、面试、找工作的经验。
LightGBM
smartcat2010的博客
12-26 651
1. 直方图：数据特征存储减少（1Byte表示256个桶), 扫描速度加快（Data个-->K个桶); 误差也许是好事儿，降低过拟合；避免了对所有数据所有特征的预排序； 2.Leaf-wise的叶子生长策略：Layer-wise会浪费计算资源，有些节点不必分裂；这里限制最大深度限制最小样本数限制最小增益； 3. 父节点直方图-左儿子直方图==>右儿子直方图 4.直接支持类别特...
LightGBM参数说明与参数调优建议
ybdesire的专栏
09-23 1万+
1. 引入 从识别率上来说，LGBM并不逊色于XGB和RF；LGBM在笔者很多场景下都优于CatBoost。 从工程化上来说，LGBM的模型size小、训练速度快、支持并发训练、兼容sklearn接口、支持GPU训练，这都使得LGBM的工程化能力更强。 和RF比较，在准确率相当的前提下，LGBM的size也是比RF小很多倍（LGBM=4M，RF=100MB）。 所以接下来写一下LGBM的调参思路, LGBM的参数以参考1中的接口LGBMClassifier命名为准（兼容sklearn的接口）。 2. 调参重
模型融合---LightGBM调参总结
dili8870的博客
03-28 1139
1. 参数速查 使用num_leaves，因为LightGBM使用的是leaf-wise的算法，因此在调节树的复杂程度时，使用的是num_leaves而不是max_depth。 大致换算关系：num_leaves = 2^(max_depth)。它的值的设置应该小于2^(max_depth)，否则可能会导致过拟合。 对于非平衡数据集：可以param['is_unbalanc...
lgbm回归调参
03-22
具体来说有以下几个重要选项可用作调参目标之一[^4]: - `reg_alpha` 和 `reg_lambda`: 这两个分别对应L1与L2范式的惩罚系数, 可用于减少过拟合并改善预测性能. #### 3. **其他影响因素** 除了上述提到的核心及正则...
LightGBM 如何调参
weixin_44116269的博客
11-27 1834
本文结构： 什么是 LightGBM 怎么调参 和 xgboost 的代码比较
贝叶斯优化调参实战（随机森林，lgbm波士顿房价）
三年研究生能改变多少
01-21 1万+
本文名字叫做贝叶斯优化实战~~就说明我不会在这里讲它的理论知识。因为我还没看懂。。。 不过用起来是真的舒服，真是好用的不行呢~ 开始本文之前，我先说一下我目前用到的调参的手段。 1.网格搜索与随机搜索： 图来自：https://www.cnblogs.com/marsggbo/p/9866764.html 我们都知道神经网络训练是由许多超参数决定的，例如网络深度，学习率，卷积核大小等等。所以为了找...
LGBM使用贝叶斯调参
呆萌的代Ma
08-26 1551
贝叶斯调参的相关知识与代码格式请参考：https://blog.csdn.net/weixin_35757704/article/details/118416689 构造LGBM模型 model = LGBMRegressor( num_leaves=31, learning_rate=learning_rate, n_estimators=int(n_estimators), silent=True, n_jobs=5
【模型调参】Lgb调参方法
Novelin的博客
03-03 3032
lgb 模型调参 以回归为例子 可以试试贝叶斯调参
自动化调参NNI学习(二)：使用NNI框架调整LGBM模型
呆萌的代Ma
10-19 1119
1. LGBM回归任务代码 import numpy as np import lightgbm as lgbm from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from sklearn.datasets import make_regression import nni def load_data(): # 这个用来读取数据 reg_x, re
【模型调参】lgb的参数调节
wwqnmdhmp的博客
08-13 3392
Table of Contents 1  数据导入2  模型挑选3  模型调参3.1  设立初始参数3.2  调解n_estimators3.3  max_depth/num_leaves3.4  min_child_samples/min_child_weight3.5  subsample/colsample_bytree（0.6,1）3.6&n
LGB ： 关于调参的一些说明
雨化于画
07-29 6934
调参核心 调参1：提高准确率"：num_leaves, max_depth, learning_rate 调参2：降低过拟合 max_bin min_data_in_leaf 调参3：降低过拟合 正则化L1, L2 调参4：降低过拟合 数据抽样 列抽样 调参方向：处理过拟合（过拟合和准确率往往相反） 使用较小的 max_bin 使用较小的 num_leaves 使用 min_d...
LGBM函数及参数详解
热门推荐
weixin_38267719的博客
04-02 2万+
LGBM Python API Dataset class lightgbm.Dataset(data, label=None, max_bin=None, reference=None, weight=None, group=None, init_score=None, silent=False, feature_name='auto', categorical_feature='auto'...
Lightgbm的重要参数
weixin_44245188的博客
04-10 961
​如果你设置的深度很深，但又无法向下分裂，LGBM就会提示warning，无法找到可以分裂的了，说明数据质量已经达到了极限了。lambda_l1 和 lambda_l2 对应着 L1 和 L2 正则化，和 XGBoost 的 reg_lambda 和 reg_alpha 是一样的，对叶子节点数和叶子节点权重的惩罚，值越高惩罚越大。一般的搜索范围可以在 (0, 100)。下面是参数的设置，Optuna比较常见的方式suggest_categorical，suggest_int，suggest_float。
lGBM（LightGBM）
qq_40844444的博客
11-19 1115
它是一种高效、快速的梯度提升树（Gradient Boosting Decision Tree, GBDT）实现，旨在用于处理大规模数据集，并解决传统GBDT算法在效率和速度上的不足。在这段代码中，我们首先加载了乳腺癌数据集，并将其分为训练集和测试集。然后，我们创建了一个lGBM数据格式，并定义了训练模型的参数。接下来，我们使用这些参数和数据训练模型，并对测试集进行预测。最后，我们计算并打印了模型的准确率。lGBM不是一种分类算法，而是一种框架，可以用于分类、回归以及排序任务。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值