机器学习（七）——LightGBM算法

最新推荐文章于 2024-06-19 14:51:43 发布
最新推荐文章于 2024-06-19 14:51:43 发布
阅读量1.1w 收藏 61
点赞数 12
分类专栏： 机器学习 文章标签： 决策树 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kay_Xiaohe_He/article/details/116193292
版权

LightGBM算法


主要为自己学习的笔记，如有错误请大家勘正

1 算法原理

LightGBM也是像XGBoost一样，是一类集成算法，他跟XGBoost总体来说是一样的，同样使用了CART回归树，算法本质上与Xgboost没有出入，只是在XGBoost的基础上进行了优化(XGBoost算法参考)。它增加了一些新特性：

  • 优化速度和内存使用
    1）基于直方图算法进行优化，使数据存储更加方便、运算更快、鲁棒性强、模型更加稳定等；
    2）降低计算每个分割增益的成本，提出了单边梯度采样算法，排除大部分小梯度的样本，仅用剩下的样本计算信息增益，它是一种在减少数据量和保证精度上平衡的算法；
    3）减少内存使用；
    4）减少并行学习的计算成本。
  • 精度优化
    1）使用以叶子数为导向（带深度限制的 Leaf-wise 算法）的决策树建立算法而不是大多数GBDT工具使用的决策树深度导向（按层生长 (level-wise) ）的生长策略，可以降低误差，得到更好的精度；
    2）分类特征的编码方式的优化，提出了互斥特征捆绑算法，高维度的数据往往是稀疏的，这种稀疏性启发我们设计一种无损的方法来减少特征的维度。通常被捆绑的特征都是互斥的（即特征不会同时为非零值，像one-hot），这样两个特征捆绑起来就不会丢失信息；
    3）通信网络的优化；
    4）并行学习的优化；
    4）GPU支持。
  • 稀疏优化
    1）用离散的bin替换连续的值。如果#bins较小，则可以使用较小的数据类型（例如uint8_t）来存储训练数据 ；
    2）无需存储其他信息即可对特征数值进行预排序 。

LightGBM的优点：
　　1）更快的训练效率
　　2）低内存使用
　　3）更高的准确率
　　4）支持并行化学习
　　5）可以处理大规模数据
　　
LightGBM的缺点：
　　1）相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据
　　2）在拥有海量训练数据，并能找到合适的深度学习模型时，深度学习的精度可以遥遥领先LightGBM

2 LightGBM重要参数

2.1 基本参数调整

  1. num_leaves（num_leaf，max_leaves，max_leaf） ：默认=31，一棵树上的最大叶子数。这是控制树模型复杂度的主要参数，一般令num_leaves小于（2的max_depth次方），以防止过拟合。
  2. min_data_in_leaf： 默认=20，一个叶子上数据的最小数量. 可以用来处理过拟合。它的值取决于训练数据的样本个树和 num_leaves参数.。将其设置的较大可以避免生成一个过深的树, 但有可能导致欠拟合。
  3. max_depth：限制树模型的最大深度. 这可以在 #data 小的情况下防止过拟合. 树仍然可以通过 leaf-wise 生长。depth 的概念在 leaf-wise 树中并没有多大作用, 因为并不存在一个从 leaves 到 depth 的合理映射。

2.2 针对训练速度的参数调整

  1. bagging_fraction（sub_row, subsample）：默认=1，不进行重采样的情况下随机选择部分数据。可用来设置使用特征的子抽样。
  2. bagging_freq（subsample_freq）：bagging 的频率, 0 意味着禁用 bagging. k 意味着每 k 次迭代执行bagging
  3. 选择较小的 max_bin 参数
  4. 使用 save_binary 在未来的学习过程对数据加载进行加速。

2.3 针对准确率的参数调整

  1. 设置较大的 max_bin （学习速度可能变慢）
  2. 设置较小的 learning_rate 和较大的 num_iterations
  3. 设置较大的 num_leaves （可能导致过拟合）
  4. 设置较大的训练集
  5. boosting ：默认gbdt，设置提升类型。可以尝试使用dart：多个加性回归树的DROPOUT方法。

2.4 针对过拟合的参数调整

  1. 设置较小的 max_bin
  2. 设置较小的 num_leaves
  3. min_data_in_leaf： 默认=20，一个叶子上数据的最小数量. 可以用来处理过拟合
  4. min_sum_hessian_in_leaf（min_sum_hessian_per_leaf, min_sum_hessian, min_hessian）：默认=1e-3，一个叶子上的最小 hessian 和. 类似于 min_data_in_leaf, 可以用来处理过拟合
  5. 设置 bagging_fraction 和 bagging_freq 来使用 bagging
  6. 设置 feature_fraction 来使用特征子抽样
  7. 使用更大的数据集以训练
  8. 使用正则化方法
  9. max_depth：限制树模型的最大深度。

进一步的调参可参考《LightGBM调参笔记》

3 代码实践

代码参考自Kaggle开源项目，我将其搬运过来以学习参考。

import lightgbm as lgb
from sklearn import metrics
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
 
canceData=load_breast_cancer()
X=canceData.data
y=canceData.target
X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=0,test_size=0.2)
 
### 数据转换
print('数据转换')
lgb_train = lgb.Dataset(X_train, y_train, free_raw_data=False)
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train,free_raw_data=False)
 
### 设置初始参数--不含交叉验证参数
print('设置参数')
params = {
          'boosting_type': 'gbdt',
          'objective': 'binary',
          'metric': 'auc',
          'nthread':4,
          'learning_rate':0.1
          }
 
### 交叉验证(调参)
print('交叉验证')
max_auc = float('0')
best_params = {}
 
# 准确率
print("调参1：提高准确率")
for num_leaves in range(5,100,5):
    for max_depth in range(3,8,1):
        params['num_leaves'] = num_leaves
        params['max_depth'] = max_depth
 
        cv_results = lgb.cv(
                            params,
                            lgb_train,
                            seed=1,
                            nfold=5,
                            metrics=['auc'],
                            early_stopping_rounds=10,
                            verbose_eval=True
                            )
            
        mean_auc = pd.Series(cv_results['auc-mean']).max()
        boost_rounds = pd.Series(cv_results['auc-mean']).idxmax()
            
        if mean_auc >= max_auc:
            max_auc = mean_auc
            best_params['num_leaves'] = num_leaves
            best_params['max_depth'] = max_depth
if 'num_leaves' and 'max_depth' in best_params.keys():          
    params['num_leaves'] = best_params['num_leaves']
    params['max_depth'] = best_params['max_depth']
 
# 过拟合
print("调参2：降低过拟合")
for max_bin in range(5,256,10):
    for min_data_in_leaf in range(1,102,10):
            params['max_bin'] = max_bin
            params['min_data_in_leaf'] = min_data_in_leaf
            
            cv_results = lgb.cv(
                                params,
                                lgb_train,
                                seed=1,
                                nfold=5,
                                metrics=['auc'],
                                early_stopping_rounds=10,
                                verbose_eval=True
                                )
                    
            mean_auc = pd.Series(cv_results['auc-mean']).max()
            boost_rounds = pd.Series(cv_results['auc-mean']).idxmax()
 
            if mean_auc >= max_auc:
                max_auc = mean_auc
                best_params['max_bin']= max_bin
                best_params['min_data_in_leaf'] = min_data_in_leaf
if 'max_bin' and 'min_data_in_leaf' in best_params.keys():
    params['min_data_in_leaf'] = best_params['min_data_in_leaf']
    params['max_bin'] = best_params['max_bin']
 
print("调参3：降低过拟合")
for feature_fraction in [0.6,0.7,0.8,0.9,1.0]:
    for bagging_fraction in [0.6,0.7,0.8,0.9,1.0]:
        for bagging_freq in range(0,50,5):
            params['feature_fraction'] = feature_fraction
            params['bagging_fraction'] = bagging_fraction
            params['bagging_freq'] = bagging_freq
            
            cv_results = lgb.cv(
                                params,
                                lgb_train,
                                seed=1,
                                nfold=5,
                                metrics=['auc'],
                                early_stopping_rounds=10,
                                verbose_eval=True
                                )
                    
            mean_auc = pd.Series(cv_results['auc-mean']).max()
            boost_rounds = pd.Series(cv_results['auc-mean']).idxmax()
 
            if mean_auc >= max_auc:
                max_auc=mean_auc
                best_params['feature_fraction'] = feature_fraction
                best_params['bagging_fraction'] = bagging_fraction
                best_params['bagging_freq'] = bagging_freq
 
if 'feature_fraction' and 'bagging_fraction' and 'bagging_freq' in best_params.keys():
    params['feature_fraction'] = best_params['feature_fraction']
    params['bagging_fraction'] = best_params['bagging_fraction']
    params['bagging_freq'] = best_params['bagging_freq']
 
 
print("调参4：降低过拟合")
for lambda_l1 in [1e-5,1e-3,1e-1,0.0,0.1,0.3,0.5,0.7,0.9,1.0]:
    for lambda_l2 in [1e-5,1e-3,1e-1,0.0,0.1,0.4,0.6,0.7,0.9,1.0]:
        params['lambda_l1'] = lambda_l1
        params['lambda_l2'] = lambda_l2
        cv_results = lgb.cv(
                            params,
                            lgb_train,
                            seed=1,
                            nfold=5,
                            metrics=['auc'],
                            early_stopping_rounds=10,
                            verbose_eval=True
                            )
                
        mean_auc = pd.Series(cv_results['auc-mean']).max()
        boost_rounds = pd.Series(cv_results['auc-mean']).idxmax()
 
        if mean_auc >= max_auc:
            max_auc=mean_auc
            best_params['lambda_l1'] = lambda_l1
            best_params['lambda_l2'] = lambda_l2
if 'lambda_l1' and 'lambda_l2' in best_params.keys():
    params['lambda_l1'] = best_params['lambda_l1']
    params['lambda_l2'] = best_params['lambda_l2']
 
print("调参5：降低过拟合2")
for min_split_gain in [0.0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0]:
    params['min_split_gain'] = min_split_gain
    
    cv_results = lgb.cv(
                        params,
                        lgb_train,
                        seed=1,
                        nfold=5,
                        metrics=['auc'],
                        early_stopping_rounds=10,
                        verbose_eval=True
                        )
            
    mean_auc = pd.Series(cv_results['auc-mean']).max()
    boost_rounds = pd.Series(cv_results['auc-mean']).idxmax()
 
    if mean_auc >= max_auc:
        max_auc=mean_auc
        
        best_params['min_split_gain'] = min_split_gain
if 'min_split_gain' in best_params.keys():
    params['min_split_gain'] = best_params['min_split_gain']
 
print(best_params)

4 参考

  1. 《LightGBM调参笔记》
  2. Kaggle开源项目
  3. 《基于LightGBM的分类预测》
快乐星球小怪兽
关注
  • 12
    点赞
  • 踩
  • 61
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
白话机器学习算法理论+实战番外篇之LightGBM
Miracle8070
04-10 1万+
1. 写在前面 如果想从事数据挖掘或者机器学习的工作，掌握常用的机器学习算法是非常有必要的，在这简单的先捋一捋， 常见的机器学习算法： 监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等 无监督算法：聚类，降维，关联规则, PageRank等 我前面已经尝试用最白话的语言完成了一个白话机器学习算法理论+实战系列，这个系列已经基本包含了上面这些算...
深入理解LightGBM
Microstrong
01-04 4919
我的个人微信公众号： Microstrong 微信公众号ID： MicrostrongAI 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities...
LightGBM算法总结
城市幽灵
08-21 9万+
1 LightGBM原理 1.1 GBDT和 LightGBM对比 ​ GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT 在工业界应用广泛，通常被用于点击率预测，搜索排序等任务。GBDT 也是各种数据挖掘竞赛的致命武器...
lightgbm算法
11-03
具体讲解lightgbm算法，直方图加速，预排序思想，等等
LightGBM算法详解
最新发布
甜盐的博客
06-19 1008
本文详细介绍了LightGBM算法的原理和特点，并展示了其在回归和分类任务中的应用。首先介绍了LightGBM算法的基本思想，然后展示了如何在合成数据集上使用LightGBM进行回归任务，以及如何在合成分类数据集上使用LightGBM进行分类任务。希望本文能帮助你更好地理解和应用LightGBM算法。
LightGBM算法
ymengm的博客
08-09 545
LightGBM算法基础介绍
结构化机器学习项目——视频、讲义、编程作业
08-02
此外，讲义可能还会介绍一些先进的技术，如梯度提升机（GBM）、XGBoost和LightGBM，这些算法在处理结构化数据时表现出色。 编程作业是强化理解和实践技能的关键环节。在这个项目中，学习者可能被要求实现一个完整的...
机器学习实战项目——分类&回归.zip
04-11
在本压缩包“机器学习实战项目——分类&回归.zip”中，包含的资源主要围绕着机器学习中的两类重要任务：分类和回归。我们将探讨这些概念、相关算法以及如何通过实际项目来应用它们。波士顿房价问题是常用来演示回归...
基于Python常用机器学习算法的简洁实现之梯度提升决策树.zip
05-12
本资源包“基于Python常用机器学习算法的简洁实现之梯度提升决策树”聚焦于一种强大的集成学习方法——梯度提升决策树（Gradient Boosting Decision Tree, GBDT）。下面我们将深入探讨这一主题。 首先，我们需要...
LightGBM.jl：LightGBM.jl为Microsoft的LightGBM提供了高性能的Julia界面
02-04
LightGBM.jl是Julia语言的一个扩展库，专门用于集成Microsoft开发的高效梯度增强学习框架——LightGBM。这个库的目的是为了让Julia用户能够充分利用LightGBM的高效性能，同时保持Julia的简洁性和高计算效率。Light...
LightGBM:基于决策树算法的快速，分布式，高性能梯度提升（GBT，GBDT，GBRT，GBM或MART）框架，用于排名，分类和许多其他机器学习任务
05-10
轻梯度升压机 LightGBM是使用基于树的学习算法的梯度增强框架。 它被设计为分布式且高效的，具有以下优点： 更快的训练速度和更高的效率。 降低内存使用率。 更好的准确性。 支持并行，分布式和GPU学习。 能够处理大规模数据。 有关更多详细信息，请参阅。 受益于这些优势，LightGBM被广泛用于许多机器学习竞赛的中。 在公共数据集上进行的表明，LightGBM可以在效率和准确性上均优于现有的Boosting框架，并且显着降低了内存消耗。 此外， 表明，LightGBM通过使用多台机器进行特定设置的训练可以实现线性加速。 入门和文档 我们的主要文档位于并从此存储库生成。 如果您不熟悉LightGBM，请按照站点上进行。 接下来，您可能需要阅读： 显示了常见任务的命令行用法。 LightGBM支持的和算法。 是您可以进行的自定义的详尽列表。 和可以加快计算速度。
Lightgbm和Xgboost对比范例
01-05
标题"Lightgbm和Xgboost对比范例"表明这是一个关于比较两种机器学习库——LightGBM和XGBoost的实例。这两个都是基于梯度提升决策树（Gradient Boosting Decision Trees）的高效工具，常用于解决分类和回归问题，特别...
LightGBM算法概述
boombung的博客
05-07 1464
本文为本人另两篇博客机器学习/计算机视觉(cv)实习面试资料整理（附字节、阿里、腾讯、美团面经）、机器学习知识点整理以及集成树知识点概括下的子内容，有需要的朋友按需自取~ 另：本文只是知识点的整理概括，更为详细的可以参考我每个部分给出的链接~ 目录概述LightGBM 优化直方图带深度限制的 Leaf-wise 的叶子生长策略直方图加速直接支持类别特征LightGBM并行优化LightGBM和XGBoost区别 详细介绍参考LightGBM算法总结 概述 LightGBM（Light Gradient B
LightGBM——提升机器算法（图解+理论+安装方法+python代码）
热门推荐
huacha__的博客
08-04 10万+
前言 LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具--LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存...
机器学习:lightGBM算法
读万卷书 行万里路
07-11 6671
lightGBM的sklearn接口： lightGBM分类： 主要参数如下： boosting_type:‘gbdt’(传统的GBDT模型)、‘dart’、‘goss’、‘rf’(随机森林) dart: Dropouts meet Multiple Additive Regression Trees. 在每棵树的迭代过程中不再单单去拟合前一棵树的残差，而是从前面已有的树中采样一部分树，组合成一个新的树，然后去拟合这部分的残差，从而使后面的树贡献变大一些。 goss：Gradient-based One
开源|LightGBM：三天内收获GitHub 1000+ 星
未语愁眸
01-10 3344
原创 2017-01-05 LightGBM 微软研究院AI头条 【导读】不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM，在三天之内GitHub上被star了1000+次，fork了200+次。知乎上有近千人关注“如何看待微软开源的LightGBM？”问题，被评价为“速度惊
机器学习——LightGBM算法
weixin_39753819的博客
03-27 1595
LightGBM是一种基于梯度提升框架的机器学习算法，由微软团队开发。相比于传统的梯度提升决策树（GBDT）算法，LightGBM具有更高的训练效率和更低的内存消耗，尤其适用于大规模数据集。LightGBM的目标函数包括损失函数和正则项，通过梯度提升算法来优化目标函数，求得最优的模型参数。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值