LightGBM Light Gradient Boosting Machine

已于 2023-10-06 17:46:22 修改
阅读量1.2k 收藏 14
点赞数 1
分类专栏： 机器学习算法 机器学习实战 文章标签： boosting 集成学习 机器学习 Lightgbm python
于 2023-08-13 09:53:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JasonH2021/article/details/132256853
版权

目录

前言

一、Lightgbm是什么？

二、Lightgbm的优点和缺点

三、Lightgbm的应用场景

四、构建Lightgbm模型的注意事项

五、Lightgbm模型的实现类库

六、Lightgbm模型的评价指标

1. 回归任务的评价指标：

2. 二分类任务的评价指标：

3. 多分类任务的评价指标：

七、类库Lightgbm实现Lightgbm的例子

1. 回归任务

2. 二分类任务

3. 多分类任务

八、Lightgbm的模型参数

总结

前言

LightGBM是机器学习中有监督学习的可以解决回归和分类任务的一种算法。

一、Lightgbm是什么？

LightGBM是一种高效的梯度提升决策树算法，由微软亚洲研究院开发。它采用了基于直方图的决策树算法和带深度限制的叶子生长策略，从而在训练过程中降低了内存消耗和计算复杂度。相比于传统的梯度提升决策树算法，LightGBM具有更快的训练速度和更好的准确性，并且支持并行训练和多分类任务。在机器学习领域中，LightGBM已经成为了一个非常流行的算法。

二、Lightgbm的优点和缺点

1. 优点：

  • 高效性：采用了基于直方图的决策树算法和带深度限制的叶子生长策略，在训练过程中降低了内存消耗和计算复杂度，从而具有更快的训练速度和更好的准确性。
  • 可扩展性：支持并行训练和多分类任务，可以处理大规模数据集。
  • 准确性：在一些数据集上，相比于传统的梯度提升决策树算法，LightGBM具有更好的准确性和泛化性能。

2. 缺点：

  • 对噪声敏感：由于使用了较小的叶子节点，LightGBM对噪声比较敏感，可能会导致过拟合。
  • 参数调节困难：LightGBM有许多参数需要调节，需要花费一定的时间和精力来进行参数调节。
  • 不支持在线学习：LightGBM不支持在线学习，需要重新训练模型来适应新数据。

LightGBM 和 XGBoost 一样是对 GBDT 的优化和高效实现，原理有一些相似之处，但它很多方面比 XGBoost 有着更为优秀的表现。官方给出的这个工具库模型的优势如下：

  1. 更快的训练效率
  2. 低内存使用
  3. 更高的准确率
  4. 支持并行化学习
  5. 可处理大规模数据
  6. 支持直接使用 category 特征

三、Lightgbm的应用场景

适用于许多应用场景，包括但不限于以下几个方面：

  1. 推荐系统：LightGBM可以用于推荐系统中的商品推荐、广告推荐等任务。
  2. 搜索引擎：LightGBM可以用于搜索引擎中的网页排序、广告排序等任务。
  3. 金融风控：LightGBM可以用于信用评分、欺诈检测等任务。
  4. 医疗健康：LightGBM可以用于疾病诊断、药物研发等任务。
  5. 自然语言处理：LightGBM可以用于情感分析、文本分类等任务。
  6. 图像识别：LightGBM可以用于图像分类、目标检测等任务。
  7. 时间序列预测：LightGBM可以用于股票价格预测、交通流量预测等任务。
  8. 文本生成：LightGBM可以用于文本生成、机器翻译等任务。
  9. 强化学习：LightGBM可以用于强化学习中的价值函数估计等任务。

四、构建Lightgbm模型的注意事项

  1. 数据预处理：对数据进行缺失值填充、异常值处理、标准化等预处理操作，以提高模型的准确性和泛化性能。
  2. 特征选择：选择对目标变量有较强预测能力的特征，避免使用冗余或无关的特征，以提高模型的准确性和泛化性能。
  3. 参数调节：LightGBM有许多参数需要调节，需要根据实际情况进行调节，以达到最佳的模型效果。
  4. 交叉验证：使用交叉验证来评估模型的性能，避免过拟合或欠拟合。
  5. 提前停止：使用提前停止来防止过拟合，提高模型的泛化性能。
  6. 模型融合：使用模型融合技术来提高模型的准确性和泛化性能。
  7. 并行训练：使用并行训练来加快模型训练速度，提高效率。
  8. 多分类问题处理：对于多分类问题，需要进行适当的处理，如使用one-hot编码等方法。
  9. 防止过拟合：采用正则化技术、降低学习率等方法来防止过拟合，提高模型的泛化性能。
  10. 模型解释：对于模型结果进行解释，分析特征重要性、影响因素等，以便于业务决策。

五、Lightgbm模型的实现类库

 LightGBM可以使用多种编程语言和机器学习类库进行实现，以下是一些常用的类库和方法：

  1. Python类库：Lightgbm、scikit-learn、xgboost等。
  2. R类库：Lightgbm、xgboost、caret等。
  3. Java类库：H2O、xgboost4j等。
  4. C++类库：LightGBM、xgboost等。

这些类库都提供了LightGBM的API接口，可以方便地进行模型训练、参数调节、预测等操作。此外，LightGBM还提供了命令行工具和RESTful API，可以方便地进行模型部署和服务化。

其中，Python的三个常用类库：

  1. Lightgbm类库：这是LightGBM官方提供的Python类库，提供了完整的LightGBM算法实现和API接口，支持多种特征类型、并行训练、多分类任务等。此外，它还提供了许多实用的功能，如特征重要性分析、模型解释等。使用Lightgbm类库可以方便地进行模型训练、预测和部署。
  2. scikit-learn类库：scikit-learn是一个广泛使用的Python机器学习类库，提供了许多机器学习算法的实现，包括LightGBM。scikit-learn中的LightGBM类支持多分类任务、交叉验证等功能，并且与scikit-learn中的其他机器学习算法兼容，可以方便地进行模型融合和比较。
  3. XGBoost类库：XGBoost是另一个流行的梯度提升决策树算法，也可以用于实现LightGBM算法。XGBoost提供了Python接口和sklearn接口，支持多分类任务、并行训练、特征重要性分析等功能。由于XGBoost和LightGBM算法有许多相似之处，因此在使用上两者也比较类似。

六、Lightgbm模型的评价指标

LightGBM模型可以解决回归和分类任务，其对应的评价指标包括：

1. 回归任务的评价指标：

  • 平均绝对误差（MAE）：预测值与真实值之差的绝对值的平均数。
  • 均方误差（MSE）：预测值与真实值之差的平方的平均数。
  • 均方根误差（RMSE）：MSE的平方根。
  • R2得分：预测值与真实值之间的相关系数的平方。

2. 二分类任务的评价指标：

  • 准确率（Accuracy）：预测正确的样本数占总样本数的比例。
  • 精确率（Precision）：预测为正样本且正确的样本数占预测为正样本的样本数的比例。
  • 召回率（Recall）：预测为正样本且正确的样本数占真实正样本的样本数的比例。
  • F1得分：精确率和召回率的调和平均数。

3. 多分类任务的评价指标：

  • 准确率（Accuracy）：预测正确的样本数占总样本数的比例。
  • 对数损失函数（Log loss）：用于衡量分类器的不确定性，越小越好。
  • 多分类对数损失函数（Multi-class Log loss）：对每个类别计算对数损失函数，然后求平均值。
  • 混淆矩阵（Confusion matrix）：用于描述分类器的性能，包括真阳性、假阳性、真阴性、假阴性等指标。

总之，LightGBM模型的评价指标根据不同任务类型有所不同，用户可以根据自己的需求选择合适的评价指标进行模型评估和选择。

七、类库Lightgbm实现Lightgbm的例子

下面是几个使用Python中Lightgbm库建模的示例：

1. 回归任务


import Lightgbm as lgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 加载数据集
boston = load_boston()
X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=42)

# 创建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test)

# 设置模型参数
params = {
    'boosting_type': 'gbdt',
    'objective': 'regression',
    'metric': 'rmse',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
}

# 训练模型
model = lgb.train(params, train_data, num_boost_round=1000, valid_sets=[test_data], early_stopping_rounds=100)

# 预测结果
y_pred = model.predict(X_test)

# 计算均方根误差
mse = mean_squared_error(y_test, y_pred)
rmse = mse ** 0.5
print('RMSE:', rmse)

2. 二分类任务


import Lightgbm as lgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, test_size=0.2, random_state=42)

# 创建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test)

# 设置模型参数
params = {
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'binary_logloss',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
}

# 训练模型
model = lgb.train(params, train_data, num_boost_round=1000, valid_sets=[test_data], early_stopping_rounds=100)

# 预测结果
y_pred = model.predict(X_test)
y_pred_binary = [1 if i >= 0.5 else 0 for i in y_pred]

# 计算准确率
acc = accuracy_score(y_test, y_pred_binary)
print('Accuracy:', acc)

3. 多分类任务

import Lightgbm as lgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

# 创建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test)

# 设置模型参数
params = {
    'boosting_type': 'gbdt',
    'objective': 'multiclass',
    'metric': 'multi_logloss',
    'num_class': 3,
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
}

# 训练模型
model = lgb.train(params, train_data, num_boost_round=1000, valid_sets=[test_data], early_stopping_rounds=100)

# 预测结果
y_pred = model.predict(X_test)
y_pred_class = [list(i).index(max(i)) for i in y_pred]

# 计算准确率
acc = accuracy_score(y_test, y_pred_class)
print('Accuracy:', acc)

八、Lightgbm的模型参数

LightGBM是一种梯度提升框架，用于解决分类和回归问题。以下是LightGBM中常用的一些模型参数：

  • boosting_type：提升类型，可以是gbdt（梯度提升决策树）或dart（Dropouts meet Multiple Additive Regression Trees）或goss（Gradient-based One-Side Sampling）。
  • num_leaves：每棵树的叶子节点数。
  • max_depth：树的最大深度。
  • learning_rate：学习率。
  • n_estimators：弱学习器（树）的数量。
  • subsample：样本采样率。
  • colsample_bytree：特征采样率。
  • reg_alpha：L1正则化项系数。
  • reg_lambda：L2正则化项系数。
  • min_child_samples：叶子节点上的最小样本数量。
  • min_child_weight：叶子节点上的最小权重和。
  • min_split_gain：节点分裂的最小增益。
  • max_bin：连续特征离散化的最大bin数。
  • cat_smooth：类别特征平滑参数。
  • early_stopping_rounds：早停参数，如果在连续的n个迭代中验证集的指标没有提升，则停止训练。
  • objective：目标函数，可以是回归、二分类、多分类等。
  • metric：评估指标，用于模型训练过程中的监控和选择。
     

总结

本文简单介绍了Lightgbm的基本概念，优缺点，建模时的注意事项，实现方法，python示例和模型的参数等。

JasonH2021
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
LightGBM在推荐系统中的应用
禅与计算机程序设计艺术
04-03 632
LightGBM在推荐系统中的应用 作者：禅与计算机程序设计艺术 1. 背景介绍 推荐系统是当今互联网时代非常重要的技术之一。它能够根据用户的兴趣爱好、浏览历史等信息,为用户推荐感兴趣的商品、内容等,从而提高用户的黏度和转化率。在推荐系统的建模过程中,机器学习算法扮演着关键
树模型系列之LightGBM
召唤师的峡谷
08-20 1912
30分钟学会LightGBM 机器学习算法之LightGBM LightGBM 中文文档 http://datacruiser.io/2019/08/12/DataWhale-Workout-No-8-LightGBM-Summary/ http://datacruiser.io/2019/08/10/DataWhale-Workout-No-8-XGboost-Summary/ 机器学习算法之C...
图解机器学习算法(11) | LightGBM模型详解（机器学习通关指南·完结）
热门推荐
ShowMeAI研究中心
03-10 2万+
LightGBM是GBDT的进化版本，在效率、内存、准确率方面表现优秀。本文讲解LightGBM的动机、优缺点及优化点、决策树算法及生长策略、类别性特征支持、并行支持与优化等重要知识点。
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
最新发布
学无止境、积少成多、厚积薄发
04-29 1646
粒子群优化LightGBM分类算法【附python实现代码】
LightGBM模型详解
weixin_44852067的博客
04-24 3206
1.背景   LightGBM 是微软开发的 boosting 集成模型，和 XGBoost 一样是对 GBDT 的优化和高效实现，原理有一些相似之处，但它很多方面比 XGBoost 有着更为优秀的表现。官方给出的这个工具库模型的优势如下： 更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可处理大规模数据 支持直接使用 category 特征   下图是一组实验数据，LightGBM比XGBoost快将近 101010 倍，内存占用率大约为XGBoost的 1/61/61/6，并且准确率也有提
[机器学习] Boosting算法4 --- LightGBM介绍与分布式
摩登都市天空---专栏
05-29 6769
相比XGBoost有如下优点：。例如，它将连续的特征值分桶(buckets)装进离散的箱子(bins)，这是的训练过程中变得更快。带深度限制的Leaf-wise的叶子生长策略,。LGB避免了对整层节点分裂法，而采用了对增益最大的节点进行深入分解的方法。这样节省了大量分裂节点的资源。更低的内存占用：使用离散的箱子(bins)保存并替换连续值导致更少的内存占用。...
【lightgbm】Light Gradient Boosting Machine(LGBM)
烦成航的博客
01-17 474
Light Gradient Boosting Machine(LightGBM, LGBM)
LightGBM-2.0_lightGBM_
10-04
LightGBM，全称为“Light Gradient Boosting Machine”，是一种高效、优化的梯度提升框架，尤其在处理大规模数据集时表现出色。LightGBM的主要特点在于其优化的数据结构和算法设计，使得在保持高精度的同时，大大...
lightgbmm_lgbm_lightGBM_
10-03
LightGBM（Light Gradient Boosting Machine）是微软开源的一种高效的梯度提升框架，尤其适用于大规模数据集。在Python中，我们通常通过lightgbm库来使用它。本文将深入探讨lightgbm库以及lightGBM（注意区分大小写...
LightGbmDotNet:用于LightGBM机器学习库的.NET包装器
05-08
LightGBM是领先的Gradient Boosting解决方案之一，由Microsoft提供开源。用法（C＃）： using ( var lightGbm = new LightGbm ()){ lightGbm . Train ( trainingData ); // optionally pass parameters var ...
基于PSO_RF双向特征选择和LightGBM设备故障检测
05-06
针对上述问题, 本文收集了医用影像设备的相关数据, 采用PSO_RF的双向特征选择方法进行特征选择, 然后构建了基于LightGBM (Light Gradient Boosting Machine)的故障检测模型, 并将其应用于医用影像设备的故障检测中....
lightGBM中文文档（高清，离线）
01-16
自己手动整理的离线文档，侵权删！ 内容包括： 快速入门指南 Python包的相关介绍 特性 实验 参数 参数优化 Python API 并行学习指南 LightGBM GPU教程 进阶主题 常见问题 Development Guide
LightGBM-windows下- GPU版本（已经编译）
09-27
命令行进入python-package目录下，输入pip install lightgbm –install-option=–gpu即可安装gpu版本。
lightgbm-gpu-Compiled-version
11-24
LightGBM，全称Light Gradient Boosting Machine，是一款高效、灵活且可扩展的梯度提升框架，它以速度快、精度高、内存消耗低而备受青睐。特别是其GPU版本，更是在大数据处理和机器学习竞赛中发挥了重要作用。本文将...
机器学习-集成学习LightGBM
A8186的博客
02-21 2070
LightGBM 是微软开发的一个强大的开源梯度提升框架。它旨在高效和可扩展，能够处理大型数据集和高维特征。LightGBM结合使用基于梯度的单边采样（GOSS）和独占特征捆绑（EFB）来降低计算成本并提高模型的准确性。LightGBM 支持各种目标函数，可用于回归和分类问题。它还提供了一些高级功能，例如提前停止、交叉验证和超参数调整，以帮助用户构建稳健的模型。此外，它还为流行的编程语言（如 Python、R 和 C++）提供接口，使其易于集成到现有的数据科学工作流程中。
LightGBM模型的特点和优点
马飞飞的博客
12-05 6694
（1）使用直方图的方式，对于每个特征的所有候选分割点按照其范围分成N个箱子，累加箱子内的梯度提升值，对于箱子里的每个候选分割点都计算带来的梯度增益，对于每个箱子分别保存其累计梯度、箱子内的样本数量。之后再分裂节点时直接对直方图遍历进行分割点的候选即可，通过直方图的方式，虽然分割的精度变差了，但是对最后的结果影响不大，一方面能够提升计算效率，另一方面这种较粗的分割点可以起到一种正则化的效果。 ...
LightGBM的实战应用(1):波士顿房价预测
weixin_44953928的博客
03-15 3200
文章目录1 lightgbm的基本使用1.原生形式使用lightgbm2.sklearn接口形式的Lightgbm2.Lightgbm调参3.例子：下面就以一个乳腺癌数据的例子，看看我们应该怎么具体去调参：1. **第一步：学习率和迭代次数**2.**第二步：确定max_depth和num_leaves**3.第三步：确定min_data_in_leaf和max_bin4.第四步：确定feature_fraction、bagging_fraction、bagging_freq5.第五步：确定lambda_l
从头了解Gradient Boosting算法
52AI人工智能
12-22 1831
目的虽然大多数Kaggle竞赛获胜者使用各种模型的叠加/集合，但是一个特定的模式是大部分集合的部分是梯度提升（GBM）算法的一些变体。以最新的Kaggle比赛获胜者为例：Michael Jahrer的解决方案是在安全驾驶的预测中的表示学习。他的解决方案是6个模型的混合。1 个LightGBM（GBM的变体）和5个神经网络。虽然他的成功归因于他为结构化数据发明的新的半监督学习，但梯度提升模型也发挥了
对LightGBM的一点理解
暗时间
09-06 9818
LightGBM是微软团队2017年发表在NIPS的一篇论文，也是一种基于GBDT的Boosting的方法。之前有了各种Boosting方法，以及在各类数据比赛中大放异彩的XGBoost，LightGBM的优势在哪里呢？ LightGBM是一种基于GBDT的提升方法。对于这类基于树的模型，最耗时的部分就是在进行特征选择结点分裂时，需要遍历所有可能的划分点，计算信息增益，从而找到最优的划分...
light gradient boosting machine
04-11
B'light梯度提升机是一种机器学习算法，它通过多次迭代来构建一个强大的预测模型。它可以用于回归和分类问题，并在许多实际应用中取得了很好的效果。它的核心思想是使用梯度下降法来不断优化模型参数，以最小化损失函数。该算法还使用了一些其他技术，如特征子抽样和自适应学习率，以避免过拟合和提高模型的泛化能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值