Py之lightgbm：lightgbm的简介、安装、使用方法之详细攻略

已于 2023-03-02 23:06:00 修改
阅读量1.5w 收藏 40
点赞数 9
分类专栏： Python_Libraries ML 文章标签： 决策树 机器学习 算法
于 2019-01-14 16:54:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/86480147
版权
ML 同时被 2 个专栏收录
514 篇文章 131 订阅
订阅专栏
Python_Libraries
254 篇文章 213 订阅
订阅专栏

Py之lightgbm：lightgbm的简介、安装、使用方法之详细攻略

目录

lightgbm的简介

1、LightGBM 的优势

2、lightgbm与xgboost各种性能比较

(1)、比较效率

(2)、比较准确率

(3)、比较内存消耗

lightgbm的安装

lightgbm的使用方法

1、基础函数用法

lightgbm.Dataset

2、LGBMClassifier()函数/LGBMRegressor()函数的简介

ML之lightgbm：LGBMClassifier()函数/LGBMRegressor()函数的简介、具体案例、调参技巧之详细攻略

3、ML之lightgbm：利用lightgbm算法(原生接口【特征重要性/加载模型线上推理】、原生接口结合sklearn接口【网格搜索调参/基于最佳参数预测】)两种形式实现波士顿房价回归预测实现代码

lightgbm的简介

        LightGBM 是一个梯度 boosting 框架, 使用基于学习算法的决策树. 它是分布式的, 高效的。LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。
        GBDT是受欢迎的机器学习算法，当特征维度很高或数据量很大时，有效性和可拓展性没法满足。lightgbm提出GOSS(Gradient-based One-Side Sampling)和EFB(Exclusive Feature Bundling)进行改进。lightgbm与传统的gbdt在达到相同的精确度时，快20倍。
        在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具--LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。因为他是基于决策树算法的，它采用最优的叶明智策略分裂叶子节点，然而其它的提升算法分裂树一般采用的是深度方向或者水平明智而不是叶，明智的。因此，在LightGBM算法中，当增长到相同的叶子节点，叶明智算法比水平-wise算法减少更多的损失。因此导致更高的精度，而其他的任何已存在的提升算法都不能够达。与此同时，它的速度也让人感到震惊，这就是该算法名字  灯的原因。

LightGBM 中文文档：http://lightgbm.apachecn.org/#/

lightgbm github：GitHub - microsoft/LightGBM: A fast, distributed, high performance gradient boosting (GBT, GBDT, GBRT, GBM or MART) framework based on decision tree algorithms, used for ranking, classification and many other machine learning tasks.
lightgbm pypi：lightgbm · PyPI
 

1、LightGBM 的优势

速度和内存使用的优化

减少分割增益的计算量

通过直方图的相减来进行进一步的加速

减少内存的使用 减少并行学习的通信代价

稀疏优化

准确率的优化

Leaf-wise (Best-first) 的决策树生长策略

类别特征值的最优分割

网络通信的优化

并行学习的优化

特征并行

数据并行

投票并行

GPU 支持可处理大规模数据

     

2、lightgbm与xgboost各种性能比较

(1)、比较效率

为了, 我们只运行没有任何测试或者度量输出的训练进程，并且我们不计算 IO 的时间。如下是耗时的对比表格：

Dataxgboostxgboost_histLightGBM
Higgs3794.34 s551.898 s238.505513 s
Yahoo LTR674.322 s265.302 s150.18644 s
MS LTR1251.27 s385.201 s215.320316 s
Expo1607.35 s588.253 s138.504179 s
Allstate2867.22 s1355.71 s348.084475 s

我们发现在所有数据集上 LightGBM 都比 xgboost 快。

(2)、比较准确率

为了比较准确率, 我们使用数据集测试集部分的准确率进行公平比较。

DataMetricxgboostxgboost_histLightGBM
HiggsAUC0.8395930.8456050.845154
Yahoo LTRNDCG<sub>1</sub>0.7197480.7202230.732466
NDCG<sub>3</sub>0.7178130.7215190.738048
NDCG<sub>5</sub>0.7378490.7399040.756548
NDCG<sub>10</sub>0.780890.7830130.796818
MS LTRNDCG<sub>1</sub>0.4839560.4886490.524255
NDCG<sub>3</sub>0.4679510.4731840.505327
NDCG<sub>5</sub>0.4724760.4774380.510007
NDCG<sub>10</sub>0.4924290.4969670.527371
ExpoAUC0.7567130.7777770.777543
Allstate

(3)、比较内存消耗

我们在运行训练任务时监视 RES，并在 LightGBM 中设置 two_round=true （将增加数据载入时间，但会减少峰值内存使用量，不影响训练速度和准确性）以减少峰值内存使用量。

Dataxgboostxgboost_histLightGBM
Higgs4.853GB3.784GB0.868GB
Yahoo LTR1.907GB1.468GB0.831GB
MS LTR5.469GB3.654GB0.886GB
Expo1.553GB1.393GB0.543GB
Allstate6.237GB4.990GB

lightgbm的安装

pip install lightgbm

lightgbm的使用方法

1、基础函数用法

lightgbm.Dataset

class lightgbm.Dataset(data, label=None, max_bin=None, reference=None, weight=None, group=None, init_score=None, silent=False, feature_name='auto', categorical_feature='auto', params=None, free_raw_data=True)

Parameters:

  • data (string__, numpy array or scipy.sparse) – Data source of Dataset. If string, it represents the path to txt file.
  • label (list__, numpy 1-D array or None__, optional (default=None)) – Label of the data.
  • max_bin (int or None__, optional (default=None)) – Max number of discrete bins for features. If None, default value from parameters of CLI-version will be used.
  • reference (Dataset or None__, optional (default=None)) – If this is Dataset for validation, training data should be used as reference.
  • weight (list__, numpy 1-D array or None__, optional (default=None)) – Weight for each instance.
  • group (list__, numpy 1-D array or None__, optional (default=None)) – Group/query size for Dataset.
  • init_score (list__, numpy 1-D array or None__, optional (default=None)) – Init score for Dataset.
  • silent (bool__, optional (default=False)) – Whether to print messages during construction.
  • feature_name (list of strings or 'auto'__, optional (default="auto")) – Feature names. If ‘auto’ and data is pandas DataFrame, data columns names are used.
  • categorical_feature (list of strings or int__, or 'auto'__, optional (default="auto")) – Categorical features. If list of int, interpreted as indices. If list of strings, interpreted as feature names (need to specify feature_name as well). If ‘auto’ and data is pandas DataFrame, pandas categorical columns are used.
  • params (dict or None__, optional (default=None)) – Other parameters.
  • free_raw_data (bool__, optional (default=True)) – If True, raw data is freed after constructing inner Dataset.

2、LGBMClassifier()函数/LGBMRegressor()函数的简介

ML之lightgbm：LGBMClassifier()函数/LGBMRegressor()函数的简介、具体案例、调参技巧之详细攻略

https://yunyaniu.blog.csdn.net/article/details/109252743

3、ML之lightgbm：利用lightgbm算法(原生接口【特征重要性/加载模型线上推理】、原生接口结合sklearn接口【网格搜索调参/基于最佳参数预测】)两种形式实现波士顿房价回归预测实现代码

https://yunyaniu.blog.csdn.net/article/details/129310539

一个处女座的程序猿
关注
专栏目录
Py之shap：shap库的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-04 1万+
​ Py之shap：shap库的简介、安装、使用方法之详细攻略 目录 shap库的简介 shap库的安装 shap库的使用方法 shap库的简介 SHAP (SHapley Additive explanation)是一种博弈论方法，用于解释任何机器学习模型的输出。它利用博弈论及其相关扩展中的经典沙普利值，将最优信贷分配与当地解释联系起来(详见论文)。 github：GitHub - slundberg/shap: A game theoretic approach
lightGBM中文文档（高清，离线）
01-16
自己手动整理的离线文档，侵权删！ 内容包括： 快速入门指南 Python包的相关介绍 特性 实验 参数 参数优化 Python API 并行学习指南 LightGBM GPU教程 进阶主题 常见问题 Development Guide
LightGBM详解
热门推荐
zhong_ddbb的博客
05-20 3万+
文章目录XGBoost不足之处直方图算法单边梯度抽样算法(GOSS)互斥特征捆绑算法(EFB)带深度限制的 Leaf-wise 算法LightGBM的工程优化直接支持类别特征特征并行数据并行投票并行Cache命中率优化LightGBM的优缺点 LightGBM是轻量级（Light）的梯度提升机器（GBM）,是GBDT模型的另一个进化版本。它延续了XGBoost 的那一套集成学习的方式，相对于xgboost， 具有训练速度快和内存占用率低的特点。 XGBoost不足之处 XGBoost的核心思想： xgbo
Windows-python2、3-lightgbm和xgboost安装包（附安装教程）
08-05
作者是在windows10，64位，python3.7.0，Anaconda 3环境下进行安装的。附有安装教程。
JPMML-LightGBM 使用教程
最新发布
gitblog_00333的博客
08-13 290
JPMML-LightGBM 使用教程 jpmml-lightgbmJava library and command-line application for converting LightGBM models to PMML项目地址:https://gitcode.com/gh_mirrors/jp/jpmml-lightgbm 项目介绍 JPMML-LightGBM 是一个 Java 库和...
python实现LightGBM(进阶)
weixin_43440760的博客
10-10 1406
文章目录1. 模块准备2. 加载并构建数据集3. 配置参数4. 存储并读取模型（JSON）5. 特征重要性6. 模型预测7. 存储并读取模型（pickle）8. 训练（断点训练/学习率衰减/训练过程修改参数）9. 自定义目标函数/评价指标10. 回调函数 1. 模块准备 import json import lightgbm as lgb import pandas as pd import numpy as np from sklearn.metrics import mean_squared_erro
python安装LightGBM
hguo11的博客
06-09 4496
LightGBM 是一个梯度 boosting 框架，使用基于学习算法的决策树。它可以说是分布式的，高效的，它有以下优势： - 更快的训练效率 - 低内存使用 - 更好的准确率 - 支持并行学习 - 可处理大规模数据 与常用的机器学习算法进行比较：· 速度飞起 安装步骤如下： 1.上github下载安装包     https://github.com/Microsoft/
python 安装lightgbm
weixin_42602726的博客
02-11 2265
要在 Python 中安装 lightgbm，可以使用以下命令： pipinstall lightgbm 如果您的系统中有多个 Python 版本，请使用与您要安装 lightgbm 的版本相对应的 pip 命令，例如： pip3install lightgbm 安装完成后，可以在 Python 代码中导入 lightgbm 库并开始使用它： import lightgbm as lgb 如...
【最新】python安装lightgbm
linghugoolge的博客
05-03 1万+
一、结果 二、环境 Windows10、Python3.6 Anaconda版 网上有些使用VS自己编译安装的都比较老了，现在可以直接pip安装 三、安装过程 1、管理员方式运行 2、pip install lightgbm ...
LightGBM使用pdf
10-19
### LightGBM 使用指南 #### 一、简介与安装配置 **LightGBM** 是一个高效的梯度提升决策树框架，旨在实现更快的训练速度和更高的效率。它通过多种优化技术来提高性能，并减少内存使用，同时保持模型的准确性。 #...
lightgbm+_randomforest_lightGBM_
09-29
在描述中提到的"lightgbm+_randomforest"组合可能意味着作者尝试结合这两种方法的优点，例如先用LightGBM进行预处理或特征选择，然后用Random Forest进行最终的预测，或者在随机森林中使用LightGBM作为基学习器。...
Python库 | lightgbm-2.3.0-py2.py3-none-manylinux1_x86_64.whl
05-06
资源分类：Python库 所属语言：Python 资源全名：lightgbm-2.3.0-py2.py3-none-manylinux1_x86_64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
PyPI 官网下载 | lightgbm-2.1.0.tar.gz
01-12
资源来自pypi官网。 资源全名：lightgbm-2.1.0.tar.gz
python3.7 安装 lightgbm 与 xgboost
鲨鱼儿的博客
01-20 2491
目录 前提：已安装 anaconda3 环境 一、安装lightgbm 二、安装xgboost 前提：已安装 anaconda3 环境 一、安装lightgbm pip install lightgbm 验证： from lightgbm.sklearn import LGBMRegressor 二、安装xgboost conda install -c anaconda py-xgboost 验证： from xgboost.sklea...
lightgbm使用-lgb.Dataset()
weixin_44848780的博客
07-11 1715
1.定义数据集和标签，这里定义为二分类问题，注意feature和label的类型，并不要求同类型。虽然feature是array数组，但是也可以指定特征名称。这里指定第五例特征是分类特征。lgb.train的参数明天再补 cout
LightGBM介绍
牛肉胡辣汤
10-14 484
LightGBM是一种高效的梯度提升决策树（Gradient Boosting Decision Tree）框架，用于解决机器学习问题。它具有很多优点，包括高效的训练速度、低内存占用、高准确性和可扩展性。本文将介绍LightGBM的基本概念、原理和应用场景。LightGBM是由微软公司开发的一种基于梯度提升决策树的机器学习框架。它的设计目标是提供一个高效、快速、可扩展和准确的解决方案。
LightGBM图解理论+视频+安装方法+python代码
datayx的文章
05-24 905
向AI转型的程序员都关注了这个号????????????人工智能大数据与深度学习 公众号：datayxLightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排...
Anaconda2在有Python2和Python3两个环境的情况下，在python3的环境装lightgbm
altman_dior的博客
10-26 623
1、首先要知道两个python环境，哪一个是base，哪一个是后来装的，我的python3环境是后来新配置。 2、lightgbm不能在anaconda navigator界面下直接安装，所以先下载wheel https://pypi.org/project/lightgbm/2.0.3/#files 3、更改文件名 下载后文件名：lightgbm-2.0.3-py2.py3-none...
Python手册(Machine Learning)--LightGBM
WilenWu
02-27 1956
LightGBM（Light Gradient Boosting Machine）是一种高效的 Gradient Boosting 算法， 主要用于解决GBDT在海量数据中遇到的问题，以便更好更快的用于工业实践中。而在实际建模环节，LGBM支持Python、Java、C++等多种编程语言进行调用，并同时提供了Sklearn API和原生API两套调用方法。
mac安装lightgbm
08-13
要在Mac上安装LightGBM，您可以按照以下步骤进行操作： 1. 安装依赖项：在终端中运行以下命令安装必要的依赖项： ``` brew install cmake brew install libomp ``` 2. 克隆LightGBM存储库：在终端中导航到您希望安装LightGBM的目录，并运行以下命令以克隆LightGBM存储库： ``` git clone --recursive https://github.com/microsoft/LightGBM ``` 3. 编译和安装LightGBM：进入克隆的LightGBM目录，运行以下命令： ``` cd LightGBM mkdir build cd build cmake .. make -j4 ``` 4. 安装Python包：在终端中运行以下命令以安装LightGBM的Python包： ``` cd ../python-package python setup.py install ``` 这样，您就成功安装了LightGBM。您可以在Python中导入LightGBM并开始使用它了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值