LightGBM学习笔记

最新推荐文章于 2022-07-05 22:02:03 发布
最新推荐文章于 2022-07-05 22:02:03 发布
阅读量591 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 算法 决策树 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yike330/article/details/119490945
版权
LightGBM是一种高效的GBDT实现，通过直方图算法、leaf-wise生长策略和GOSS采样法优化训练速度和内存消耗。它还支持类别特征，提供特征并行和数据并行等并行运算方案，能有效防止过拟合。
摘要由CSDN通过智能技术生成

LightGBM简介

LightGBM是GBDT算法地实现框架之一，设计的初衷是并行、高效。特点是训练速度快、内存消耗小、可并行运算、支持类别变量。

LightGBM优化点

直方图算法

不同于XGBoost的预排序，LightGBM将区间离散化，划分为桶（bin），确定每个样本属于哪个桶。在遍历数据找最优划分点时，只需要遍历每个桶即可。

在这里插入图片描述

XGBoost预排序算法每遍历一个特征值就需要计算一次分裂的增益，而直方图算法只需要计算 k k k次（ k k k可以认为是常数），时间复杂度从 O ( # d a t a ∗ # f e a t u r e ) O(\#data * \#feature) O(#d

最低0.47元/天 解锁文章
Coco-Lele
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LightGBM
YQMind的博客
12-26 386
和XBGoost一样使用了二阶导数，LightGBM速度快，内存小，精度和XGBoost相当。 使用直方图简化计算 使用leaf-wise代替level-wise
基于LightGBM的分类预测
happiless的博客
04-16 2178
一、学习知识点概要 1.1 LightGBM的介绍 1). 2017年经微软推出，XGBoost的升级版 2). 模型精度: 两个模型精度相当 3). 训练速度: LightGBM训练的速度更快 => 1/10 4). 内存消耗: LightGBM占用内存更小 => 1/6 5). 特征缺失值: 两个模型都可以自动处理特征缺失值 6). 分类特征: XGBoost不支持类别特征，需要对其进行onehot编码，而LightGBM支持类别特征 LightGBM的主要优点： 1.简单易用。提
一文彻底看懂LightGBM
吟游诗人——吟唱生命的不朽
01-31 2083
本文适合有集成学习与XGBoost基础的读者了解LightGBM算法。 序 LightGBM是基于XGBoost的改进版，在处理样本量大、特征纬度高的数据时，XGBoost效率和可扩展性也不够理想，因为其在对树节点分裂时，需要扫描每一个特征的每一个特征值来寻找最优切分点，耗时较大。而LightGBM则提出了GOSS（Gradient-based One-Side Sampling，基于梯度的单边采样）和EFB（Exclusive Feature Bundling，互斥特征捆绑）来分别进行样本采样和降低特征维
python数据分析实战：使用Lightgbm解决二分类预测问题以泰坦尼克号数据为例
BernardDong的博客
07-05 5099
来自于kaggle上的一个经典比赛，使用Lightgbm进行分类预测。 自建函数，进行5折交叉验证，计算平均准确率。 网格调参 自建函数，最大化准确率，挑选最优参数集。 得到的结果为 预测后结果上传到kaggle。 准确率0.77，排名9994。😅lightgbm使用C++实现，为python提供了接口，分为了lightgbm naive API，以及为了和机器学习最常用的库sklearn一致而提供的sk...
【项目实战】Python实现LightGBM分类模型(LGBMClassifier算法)项目实战
胖哥真不错的博客
11-06 3万+
说明：这是一个机器学习实战项目（附带数据+代码+文档+代码讲解），如需数据+代码+文档+代码讲解可以直接到文章最后获取。 1.项目背景 如今已是大数据时代，具备大数据思想至关重要，人工智能技术在各行各业的应用已是随处可见。GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预...
机器学习笔记对应基础文档
04-07
可以使用时间序列分析、地理空间分析和机器学习模型（如XGBoost、LightGBM）来预测未来的犯罪热点，帮助资源分配和预防策略的制定。 5. **fruit_data_with_colors.txt**：此文件可能包含水果图像的颜色信息，常用于...
二手车交易价格预测学习笔记 — Task4
12-21
在本篇【二手车交易价格预测学习笔记 - Task4】中，我们关注的是数据挖掘和机器学习在预测二手车交易价格中的应用。这个赛题是“零基础入门数据挖掘 - 二手车交易价格预测”，可以在阿里云天池平台找到相关链接。在...
基于python的CTR模型代码和学习笔记总结
03-26
本资料包“基于python的CTR模型代码和学习笔记总结”提供了一个深入学习和实践CTR模型的资源集合，特别适合对机器学习、数据分析和Python编程感兴趣的开发者。 首先，我们来看看Python在CTR模型中的应用。Python是...
机器学习&深度学习资料笔记&基本算法实现&资源整理.zip
03-03
天池 | Tensorflow LightGBM | | | Biendata | PyTorch ★ Spark| | | AI challenge |Mxnet | | | | DataFountain | Caffe 2.自然语言处理 课程：自然语言处理班 - 七月在线 | CS224n 工具：NLTK | jieba | ...
机器学习的笔记.zip
最新发布
04-08
而集成学习，如bagging（如随机森林）和boosting（如AdaBoost、XGBoost、LightGBM），能够通过组合多个弱学习器提升整体性能。 最后，模型的评估指标根据任务类型有所不同。对于分类问题，有准确率、精确率、召回率...
lightgbm处理类别特征
u013385018的专栏
02-04 1万+
lightGBM的categorical_feature(类别特征)使用 http://www.luyixian.cn/news_show_253681.aspx lightGBM比XGBoost的1个改进之处在于对类别特征的处理, 不再需要将类别特征转为one-hot形式, 具体可参考这里. 在使用python API时(参考官方文档) 1.可以使用pd.DataFrame存放特征X, 每一...
lightgbm类别预测的一些问题
donger__chen的博客
10-09 1万+
    lightgbm在作类别预测的时候，有一些不同的使用方法   import lightgbm as lgb #第一种 estimator=lgb.sklearn.LGBMClassifier() estimator.fit(x_train,y_train) #x_train和y_train 是numpy或pandas数据类型即可 pre = estimator.predic...
Lightgbm如何处理类别特征？
anshuai_aw1的博客
10-22 3万+
本篇文章主要参考柯国霖大神在知乎上的回答，以及自己阅读LGBM的部分源码整理而来。 1、one-hot编码弊端 one-hot编码是处理类别特征的一个通用方法，然而在树模型中，这可能并不一定是一个好的方法，尤其当类别特征中类别个数很多的情况下。主要的问题是： ①可能无法在这个类别特征上进行切分（即浪费了这个特征）。使用one-hot编码的话，意味着在每一个决策节点上只能使用one vs re...
LightGBM的基本原理以及使用
simonchen198774的博客
04-23 9448
lightgbm调参
商品类别推荐系统：LightGBM模型
wong2016的博客
04-13 3798
机器学习训练营——机器学习爱好者的自由交流空间（qq群号：696721295） 案例介绍 Elo是巴西最大的信用卡支付机构。目前，Elo与巴西的很多商家建立了合作关系，负责向持卡人提供商家的促销或打折信息。但是，这些促销活动对消费者或商家有用吗？引起消费者的兴趣了吗？商家接到“回头客”了吗？要实现这些目的，个性化推荐是关键！Elo已经开发了机器学习模型去理解顾客日常生活里最重要的方面与偏爱，从...
【集成学习系列教程5】LightGBM
qq_42554780的博客
09-30 1517
1.7 LightGBM 1.7.1 概述 前面我们介绍了AdaBoost和GBDT这两种Boosting方法，它们已经在很多问题上发挥了强大的威力，也已经具有较好效率。但是，如今的数据集正在朝着样本数越来越巨大，特征维度也越来越高的方向发展，此时这两种传统的Boosting方法在效率和可扩展性上已经不能满足现在的需求了。主要原因是：传统的Boosting算法中的基学习器需要通过对所有样本点的每一个特征都进行扫描来计算信息增益，进而找到最佳的分割点，这在样本数和特征数巨大的情况下会相当耗时。为了解决传统Bo
lightgbm 特征重要性选择 / 看所有特征哪个重要
Talk Is Cheap
06-05 4万+
print(pd.DataFrame({ 'column': feature_names, 'importance': lgb_trained_model.feature_importance(), }).sort_values(by='importance'))
LightGBM分类实战
拟禾的个人技术博客
03-03 2524
使用集成模型LightGBM解决简单的分类任务
lightGBM原理、改进简述
热门推荐
鸟恋旧林的博客
08-02 7万+
1. forewordTSA比赛中，开始整的LR，把原始特征one-hot处理后输入LR训练。过了段时间开始搞RF和XGB，再后面搞LightGBM。2. lightGBM简介xgboost的出现，让数据民工们告别了传统的机器学习算法们：RF、GBM、SVM、LASSO……..。现在微软推出了一个新的boosting框架，想要挑战xgboost的江湖地位。顾名思义，lightGBM包含两个关键点：l
r语言lightgbm网格搜索
07-25
在R语言中使用LightGBM进行网格搜索，可以按照以下步骤进行操作： 1. 首先，确保已经安装了LightGBM包。可以使用以下命令安装LightGBM包： ```R install.packages("lightgbm") ``` 2. 导入所需的库和数据集。例如，使用以下命令导入LightGBM和其他必要的库： ```R library(lightgbm) library(dplyr) ``` 3. 准备数据集。将数据集分为训练集和测试集，并进行必要的数据预处理。 4. 定义LightGBM模型和参数网格。可以使用以下代码定义模型和参数网格： ```R model <- lgbm(data = x_train, label = y_train, objective = "binary", metric = "binary_logloss", nthread = 2, verbose = -1, num_iterations = 100) param_grid <- list( learning_rate = c(0.01, 0.1, 0.5), max_depth = c(3, 5, 7), num_leaves = c(10, 20, 30) ) ``` 5. 进行网格搜索。使用`lgbm.gridsearch`函数进行网格搜索，并指定要优化的指标和参数网格。例如，使用以下代码进行网格搜索： ```R result <- lgbm.gridsearch(data = x_train, label = y_train, objective = "binary", metric = "binary_logloss", nthread = 2, verbose = -1, num_iterations = 100, param_grid = param_grid) ``` 6. 查看最佳参数和性能。使用`lgbm.best_params`和`lgbm.best_score`函数可以查看最佳参数和对应的性能指标值。例如，使用以下代码查看最佳参数和对应的性能指标值： ```R best_params <- lgbm.best_params(result) best_score <- lgbm.best_score(result) ``` 通过以上步骤，你可以在R语言中使用LightGBM进行网格搜索，并找到最佳参数和对应的性能指标值。请注意，以上代码仅为示例，你可能需要根据自己的数据集和需求进行适当的修改。 #### 引用[.reference_title] - *1* *2* [阿里机器学习训练营 Day 3 lightGBM 学习笔记](https://blog.csdn.net/weixin_45758909/article/details/121810717)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [LightGBM 调参](https://blog.csdn.net/weixin_50304531/article/details/110868372)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值