lightbm模型

最新推荐文章于 2023-06-25 16:22:02 发布
最新推荐文章于 2023-06-25 16:22:02 发布
阅读量850 收藏 2
点赞数
原文链接：https://blog.csdn.net/qq_41185868/article/details/86480147
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/qq_41185868/article/details/86480147

Py之lightgbm：lightgbm的简介、安装、使用方法之详细攻略

 

 

 

目录

lightgbm的简介

lightgbm的安装

lightgbm的使用方法

1、class lightgbm.Dataset

2、LGBMRegressor类

 

 

 

 

 

lightgbm的简介

LightGBM 是一个梯度 boosting 框架, 使用基于学习算法的决策树. 它是分布式的, 高效的, 装逼的, 它具有以下优势:

  • 速度和内存使用的优化
    • 减少分割增益的计算量
    • 通过直方图的相减来进行进一步的加速
    • 减少内存的使用 减少并行学习的通信代价
  • 稀疏优化
  • 准确率的优化
    • Leaf-wise (Best-first) 的决策树生长策略
    • 类别特征值的最优分割
  • 网络通信的优化
  • 并行学习的优化
    • 特征并行
    • 数据并行
    • 投票并行
  • GPU 支持可处理大规模数据

1、效率

为了比较效率, 我们只运行没有任何测试或者度量输出的训练进程，并且我们不计算 IO 的时间。如下是耗时的对比表格：

Dataxgboostxgboost_histLightGBM
Higgs3794.34 s551.898 s238.505513 s
Yahoo LTR674.322 s265.302 s150.18644 s
MS LTR1251.27 s385.201 s215.320316 s
Expo1607.35 s588.253 s138.504179 s
Allstate2867.22 s1355.71 s348.084475 s

我们发现在所有数据集上 LightGBM 都比 xgboost 快。

2、准确率

为了比较准确率, 我们使用数据集测试集部分的准确率进行公平比较。

DataMetricxgboostxgboost_histLightGBM
HiggsAUC0.8395930.8456050.845154
Yahoo LTRNDCG<sub>1</sub>0.7197480.7202230.732466
NDCG<sub>3</sub>0.7178130.7215190.738048 
NDCG<sub>5</sub>0.7378490.7399040.756548 
NDCG<sub>10</sub>0.780890.7830130.796818 
MS LTRNDCG<sub>1</sub>0.4839560.4886490.524255
NDCG<sub>3</sub>0.4679510.4731840.505327 
NDCG<sub>5</sub>0.4724760.4774380.510007 
NDCG<sub>10</sub>0.4924290.4969670.527371 
ExpoAUC0.7567130.7777770.777543
Allstate

3、内存消耗

我们在运行训练任务时监视 RES，并在 LightGBM 中设置 two_round=true （将增加数据载入时间，但会减少峰值内存使用量，不影响训练速度和准确性）以减少峰值内存使用量。

Dataxgboostxgboost_histLightGBM
Higgs4.853GB3.784GB0.868GB
Yahoo LTR1.907GB1.468GB0.831GB
MS LTR5.469GB3.654GB0.886GB
Expo1.553GB1.393GB0.543GB
Allstate6.237GB4.990GB

4、综述

       LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。

       Gbdt是受欢迎的机器学习算法，当特征维度很高或数据量很大时，有效性和可拓展性没法满足。lightgbm提出GOSS(Gradient-based One-Side Sampling)和EFB(Exclusive Feature Bundling)进行改进。lightgbm与传统的gbdt在达到相同的精确度时，快20倍。

       在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具--LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。因为他是基于决策树算法的，它采用最优的叶明智策略分裂叶子节点，然而其它的提升算法分裂树一般采用的是深度方向或者水平明智而不是叶，明智的。因此，在LightGBM算法中，当增长到相同的叶子节点，叶明智算法比水平-wise算法减少更多的损失。因此导致更高的精度，而其他的任何已存在的提升算法都不能够达。与此同时，它的速度也让人感到震惊，这就是该算法名字  灯的原因。

LightGBM 中文文档：http://lightgbm.apachecn.org/#/

lightgbm github：https://github.com/Microsoft/LightGBM
lightgbm pypi：https://pypi.org/project/lightgbm/
 

 

lightgbm的安装

pip install lightgbm

lightgbm的使用方法

1、class lightgbm.Dataset

class lightgbm.Dataset(data, label=None, max_bin=None, reference=None, weight=None, group=None, init_score=None, silent=False, feature_name='auto', categorical_feature='auto', params=None, free_raw_data=True)

Parameters:

  • data (string__, numpy array or scipy.sparse) – Data source of Dataset. If string, it represents the path to txt file.
  • label (list__, numpy 1-D array or None__, optional (default=None)) – Label of the data.
  • max_bin (int or None__, optional (default=None)) – Max number of discrete bins for features. If None, default value from parameters of CLI-version will be used.
  • reference (Dataset or None__, optional (default=None)) – If this is Dataset for validation, training data should be used as reference.
  • weight (list__, numpy 1-D array or None__, optional (default=None)) – Weight for each instance.
  • group (list__, numpy 1-D array or None__, optional (default=None)) – Group/query size for Dataset.
  • init_score (list__, numpy 1-D array or None__, optional (default=None)) – Init score for Dataset.
  • silent (bool__, optional (default=False)) – Whether to print messages during construction.
  • feature_name (list of strings or 'auto'__, optional (default="auto")) – Feature names. If ‘auto’ and data is pandas DataFrame, data columns names are used.
  • categorical_feature (list of strings or int__, or 'auto'__, optional (default="auto")) – Categorical features. If list of int, interpreted as indices. If list of strings, interpreted as feature names (need to specify feature_name as well). If ‘auto’ and data is pandas DataFrame, pandas categorical columns are used.
  • params (dict or None__, optional (default=None)) – Other parameters.
  • free_raw_data (bool__, optional (default=True)) – If True, raw data is freed after constructing inner Dataset.

2、LGBMRegressor类

https://lightgbm.readthedocs.io/en/latest/Python-API.html?highlight=LGBMRegressor

classlightgbm.LGBMModel(boosting_type='gbdt', num_leaves=31, max_depth=-1, learning_rate=0.1, n_estimators=100, subsample_for_bin=200000, objective=None, class_weight=None, min_split_gain=0.0, min_child_weight=0.001, min_child_samples=20, subsample=1.0, subsample_freq=0, colsample_bytree=1.0, reg_alpha=0.0, reg_lambda=0.0, random_state=None, n_jobs=-1, silent=True, importance_type='split', **kwargs)

  • boosting_type (string, optional (default='gbdt')) – ‘gbdt’, traditional Gradient Boosting Decision Tree. ‘dart’, Dropouts meet Multiple Additive Regression Trees. ‘goss’, Gradient-based One-Side Sampling. ‘rf’, Random Forest.
  • num_leaves (int, optional (default=31)) – Maximum tree leaves for base learners.
  • max_depth (int, optional (default=-1)) – Maximum tree depth for base learners, -1 means no limit.
  • learning_rate (float, optional (default=0.1)) – Boosting learning rate. You can use callbacks parameter of fit method to shrink/adapt learning rate in training using reset_parameter callback. Note, that this will ignore the learning_rate argument in training.
  • n_estimators (int, optional (default=100)) – Number of boosted trees to fit.
  • subsample_for_bin (int, optional (default=200000)) – Number of samples for constructing bins.
  • objective (string, callable or None, optional (default=None)) – Specify the learning task and the corresponding learning objective or a custom objective function to be used (see note below). Default: ‘regression’ for LGBMRegressor, ‘binary’ or ‘multiclass’ for LGBMClassifier, ‘lambdarank’ for LGBMRanker.
  • class_weight (dict, 'balanced' or None, optional (default=None)) – Weights associated with classes in the form {class_label: weight}. Use this parameter only for multi-class classification task; for binary classification task you may use is_unbalance or scale_pos_weight parameters. The ‘balanced’ mode uses the values of y to automatically adjust weights inversely proportional to class frequencies in the input data as n_samples / (n_classes * np.bincount(y)). If None, all classes are supposed to have weight one. Note, that these weights will be multiplied with sample_weight (passed through the fit method) if sample_weight is specified.
  • min_split_gain (float, optional (default=0.)) – Minimum loss reduction required to make a further partition on a leaf node of the tree.
  • min_child_weight (float, optional (default=1e-3)) – Minimum sum of instance weight (hessian) needed in a child (leaf).
  • min_child_samples (int, optional (default=20)) – Minimum number of data needed in a child (leaf).
  • subsample (float, optional (default=1.)) – Subsample ratio of the training instance.
  • subsample_freq (int, optional (default=0)) – Frequence of subsample, <=0 means no enable.
  • colsample_bytree (float, optional (default=1.)) – Subsample ratio of columns when constructing each tree.
  • reg_alpha (float, optional (default=0.)) – L1 regularization term on weights.
  • reg_lambda (float, optional (default=0.)) – L2 regularization term on weights.
  • random_state (int or None, optional (default=None)) – Random number seed. If None, default seeds in C++ code will be used.
  • n_jobs (int, optional (default=-1)) – Number of parallel threads.
  • silent (bool, optional (default=True)) – Whether to print messages while running boosting.
  • importance_type (string, optional (default='split')) – The type of feature importance to be filled into feature_importances_. If ‘split’, result contains numbers of times the feature is used in a model. If ‘gain’, result contains total gains of splits which use the feature.
  • bagging_fraction (   )
  • feature_fraction (    )
  • min_data_in_leaf (    )
  • min_sum_hessian_in_leaf (    )

 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     class LGBMRegressor Found at: lightgbm.sklearn
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     class LGBMRegressor(LGBMModel, _LGBMRegressorBase):
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     """LightGBM regressor."""
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     def fit(self, X, y, 
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             sample_weight=None, init_score=None, 
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             eval_set=None, eval_names=None, eval_sample_weight=None, 
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             eval_init_score=None, eval_metric=None, early_stopping_rounds=None, 
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             verbose=True, feature_name='auto', categorical_feature='auto', callbacks=None):
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     """Docstring is inherited from the LGBMModel."""
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             super(LGBMRegressor, self).fit(X, y, sample_weight=sample_weight, init_score=init_score, 
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
              eval_set=eval_set, eval_names=eval_names, eval_sample_weight=eval_sample_weight, 
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
              eval_init_score=eval_init_score, eval_metric=eval_metric, 
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
              early_stopping_rounds=early_stopping_rounds, verbose=verbose, 
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
              feature_name=feature_name, categorical_feature=categorical_feature, callbacks=callbacks)
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
            
     
     return self
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         _base_doc = LGBMModel.fit.__doc__
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         fit.__doc__ = _base_doc[:_base_doc.find(
     
     'eval_class_weight :')] + _base_doc[_base_doc.find
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
          (
     
     'eval_init_score :'):]
原文链接：https://blog.csdn.net/qq_41185868/article/details/86480147

 

 

 

 

 

 

靳xiaobai
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LightGBM模型架构实现
weixin_51047199的博客
04-27 584
本文用来记录如何初步实现lgb模型，但尚未对信息进行具体的细化，供各位初学者参考。 目录1. 加载数据2. 划分数据集3. 将数据转换为Dataset格式4. 参数设置5. 模型训练6. 模型预测7. 预测结果保存 1. 加载数据 首先需要导入我们的训练数据 import pandas as pd train_data = pd.read_table('./data/train.txt') # 这里是导入训练数据，我采用的是相对路径查看文件 2. 划分数据集 机器学习模型中对于训练模型需要训练集和测试.
Py之lightgbm：lightgbm的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-14 1万+
​ Py之lightgbm：lightgbm的简介、安装、使用方法之详细攻略 目录 lightgbm的简介 lightgbm的安装 lightgbm的使用方法 lightgbm的简介 LightGBM 是一个梯度 boosting 框架, 使用基于学习算法的决策树. 它是分布式的, 高效的。LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 GBDT是受欢迎的机器学习算法
LightBGM之Dataset
weixin_30556959的博客
09-09 2048
最近使用了LightBGM的Dataset，记录一下： 1.说明：　　classlightgbm.Dataset(data,label=None,reference=None,weight=None,group=None,init_score=None,silent=False,feature_name='auto',categorical_feature='auto',par...
LightGBM详解
zhong_ddbb的博客
05-20 3万+
文章目录XGBoost不足之处直方图算法单边梯度抽样算法(GOSS)互斥特征捆绑算法(EFB)带深度限制的 Leaf-wise 算法LightGBM的工程优化直接支持类别特征特征并行数据并行投票并行Cache命中率优化LightGBM的优缺点 LightGBM是轻量级（Light）的梯度提升机器（GBM）,是GBDT模型的另一个进化版本。它延续了XGBoost 的那一套集成学习的方式，相对于xgboost， 具有训练速度快和内存占用率低的特点。 XGBoost不足之处 XGBoost的核心思想： xgbo
python 安装lightgbm
weixin_42602726的博客
02-11 2122
要在 Python 中安装 lightgbm，可以使用以下命令： pipinstall lightgbm 如果您的系统中有多个 Python 版本，请使用与您要安装 lightgbm 的版本相对应的 pip 命令，例如： pip3install lightgbm 安装完成后，可以在 Python 代码中导入 lightgbm 库并开始使用它： import lightgbm as lgb 如...
Hungary_Method(匈牙利法-理解)1
08-03
匈牙利方法，也称作Kuhn-Munkres算法，是一种解决赋权匹配问题的有效算法，主要用于解决在分配问题中的优化。这个问题的核心是确保每个任务都有一个唯一的人去完成，而每个人也仅能承担一个任务，形成一对一的匹配。...
LightGBM的安装部署
最新发布
Kika写代码的博客
06-25 2335
而LGBM的另一种调用方式，即使用原生API进行建模，则会复杂很多，当然原生API也提供了非常多sklearn API中没有的功能。从建模流程上来看，使用原生LGBM API时需要先对数据集进行封装，转化成一种LGBM库定义的一种特殊的数据格式，然后再设置超参数字典，最终带入封装好的数据集和定义好的超参数字典进行训练，而在训练的过程，则支持多种不同的损失函数设置、以及交叉验证的优化流程的自动实现，并且原生API还提供了非常多实用功能，例如提供了GPU加速、精细化控制每一轮迭代的超参数等方法。
python数据分析实战：使用Lightgbm解决二分类预测问题以泰坦尼克号数据为例
BernardDong的博客
07-05 5012
来自于kaggle上的一个经典比赛，使用Lightgbm进行分类预测。 自建函数，进行5折交叉验证，计算平均准确率。 网格调参 自建函数，最大化准确率，挑选最优参数集。 得到的结果为 预测后结果上传到kaggle。 准确率0.77，排名9994。😅lightgbm使用C++实现，为python提供了接口，分为了lightgbm naive API，以及为了和机器学习最常用的库sklearn一致而提供的sk...
python安装LightGBM
hguo11的博客
06-09 4448
LightGBM 是一个梯度 boosting 框架，使用基于学习算法的决策树。它可以说是分布式的，高效的，它有以下优势： - 更快的训练效率 - 低内存使用 - 更好的准确率 - 支持并行学习 - 可处理大规模数据 与常用的机器学习算法进行比较：· 速度飞起 安装步骤如下： 1.上github下载安装包     https://github.com/Microsoft/
lightgbm常用函数
weixin_41654661的博客
01-22 6329
1、lgb.Dataset()     train_data = lgb.Dataset(data, label=label, feature_name=['c1', 'c2', 'c3'], categorical_feature=['c3'], weight=w )     LightGBM 可以直接使用 categorical features（分类特征）作为 input（输入）. 它不...
lightGBM中文文档（高清，离线）
01-16
自己手动整理的离线文档，侵权删！ 内容包括： 快速入门指南 Python包的相关介绍 特性 实验 参数 参数优化 Python API 并行学习指南 LightGBM GPU教程 进阶主题 常见问题 Development Guide
Windows-python2、3-lightgbm和xgboost安装包（附安装教程）
08-05
作者是在windows10，64位，python3.7.0，Anaconda 3环境下进行安装的。附有安装教程。
有关pycharm下xgboost、lightgbm等各种包的安装
liuzhenghui666666的博客
07-22 5546
本来以为是很轻松的包安装，没想到在过程中遇到了各种各样的问题。 写个博文来记录下 可以先升级下pip pip升级命令：python -m pip install --upgrade pip 接着 pycharm中进入view--&gt;Tool windows--&gt;Terminal 采用 pip install sklearn -i https://pypi.douban....
LightGBM——提升机器算法（图解+理论+安装方法+python代码）
热门推荐
huacha__的博客
08-04 10万+
前言 LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具--LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存...
lightgbm python基本使用 --mac下操作
luoyexuge的专栏
06-09 3万+
好几天没有更新博客，最近指标压力大，没去摸索算法，今天写这个博客算是忙里偷闲吧，lightgbm的基本使用，python接口，这个工具微软开源的，号称比xgboost快，具体没怎么对比，先看看如何使用的. 安装编译，其中第一步和第二步以前安装xgboost时候安装过，可以直接跳过 brew install cmakebrew install gcc --without-
ligthgbm分类与回归实例展示
三年研究生能改变多少
01-18 1万+
本文仅做摘抄记录，展示一些lgbm用作分类与回归的代码，以供学习记忆与备用。 lgbm的github: https://github.com/Microsoft/LightGBM/blob/master/docs/Parameters.rst 参数解释： https://blog.csdn.net/ssswill/article/details/85235074 1.回归 1.1回归1 代码来源：...
Kaggle HousePrice : LB 0.11666（前１５％）, 用搭积木的方式（2.实践-特征工程部分）...
weixin_33778778的博客
12-06 513
Kaggle HousePrice : LB 0.11666（前１５％）, 用搭积木的方式（2.实践-特征工程部分） 王勇 14 天前 关键词： 机器学习，Kaggle 比赛，特征工程，pandas Pipe, sklearn Pipeline，刷法大法， 自动化 从上篇文章发布到我这篇文章，一共收到了78个赞。谢谢各位看官捧场。 本文正...
LightGBM官方中文文档上线啦！
Kelisiya
01-04 5万+
有幸可以参与这次文档的翻译工作，下一次参与翻译的应该就是N久没有更新的Pytorch中文文档啦！走过路过的大佬请点个star让我以后好装逼，谢谢各位了，Orz主页地址：http://lightgbm.apachecn.org/cn/latest/index.htmlGithub：https://github.com/apachecn/lightgbm-doc-zh请点进Github帮忙点个star，
在Python中使用lightgbm
FontTian的博客
12-17 1万+
前言-lightgbm是什么？ LightGBM 是一个梯度 boosting 框架, 使用基于学习算法的决策树. 它是分布式的, 高效的, 装逼的, 它具有以下优势: 速度和内存使用的优化 减少分割增益的计算量 通过直方图的相减来进行进一步的加速 减少内存的使用 减少并行学习的通信代价 稀疏优化 准确率的优化 Leaf-wise (Best-first) 的决策树生长策略 类别特征值的...
lgbm和xgboost使用教程
owenfy的博客
04-24 2万+
# coding: utf-8 # pylint: disable = invalid-name, C0111 import lightgbm as lgb import pandas as pd from sklearn.metrics import mean_squared_error from sklearn.model_selection import GridSearchCV # l...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值