【20210910】【机器/深度学习】lightGBM模型训练中报错：“Cannot set reference after freed raw data“

最新推荐文章于 2023-11-21 12:07:45 发布
最新推荐文章于 2023-11-21 12:07:45 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 机器/深度学习 文章标签： python 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40583722/article/details/120228251
版权
在使用lightGBM模型训练后，原始Dataset数据会被自动清除，需要重新生成才能再次使用。训练时，数据需转换为lgb.Dataset格式。错误提示'lightgbm.basic.LightGBMError:Cannotsetcategoricalfeatureafterfreedrawdata,setfree_raw_data'表明数据已被释放，无法设置类别特征。
摘要由CSDN通过智能技术生成

一、原因在于：

        lightGBM模型训练完之后，Dataset的数据就会被清空，虽然在变量中它还存在，但实际已经被清空了，所以要再使用的话，需要重新生成！

二、补充知识点：

        lightGBM 模型训练时，输入的数据类型是 Dataset 格式，所以需要用 lgb.Dataset() 先进行格式转换！

        （参考：lightgbm.basic.LightGBMError: Cannot set categorical feature after freed raw data, set free_raw_data）

Satisfying
关注
专栏目录
C++ Programming Language: A Brief History
程序员光剑
08-06 1175
C++是一种高级的、静态ally typed、多重编程语言，它源自于Bjarne Stroustrup开发的一个“抽象机器”概念。它是通用的、具有面向对象能力的、支持运行时反射的、可移植的、跨平台的、兼容性强的、类C的语言。可以说，C++带给我们的很多便利，例如易用性，灵活性和效率等。同时，也存在着一些不足之处，比如复杂性和性能等。因此，作为一个程序员，应当善加利用，充分发挥其优势。本文将以详细地叙述C++编程语言的历史，并通过具体的代码实例、解释及分析，帮助读者深入理解这个最强大的编程语言。
ffmpeg学习七：avformat_find_stream_info函数源码分析
阳光玻璃杯
12-14 1万+
前面两篇文章分析avformat_open_input和avcodec_open2两个函数，我们所做的函数分析工作都是为了能够很好的理解前面一篇博客：ffmpeg学习四：写第一个程序-视频解码中所给的视频解码的程序。avformat_find_stream_info函数也是视频解码程序中必须要有的函数，因此这篇文章主要来分析这个函数。一、功能简介先看看avformat_find_stream_inf
LightGBMError: Cannot set reference after freed raw data
lingdongzi的博客
06-19 123
本来是要复用oos的数据的，所以一开始把oos写在了循环外面，结果循环进行到第二次的时候就开始报错，遂把oos的生成写在了循环里面，就不报错了。lgb.Dataset不能复用。
使用lightgbm进行故障诊断
weixin_44539090的博客
05-23 809
import pandas as pd from sklearn.model_selection import GridSearchCV import lightgbm as lgb from sklearn.metrics import f1_score from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.datasets import make_classification import numpy as np
lightGBM训练时报错：TypeError: train() got an unexpected keyword argument ‘verbose_eval‘
最新发布
happylele77的博客
11-21 6551
参数问题，都可以按这个思路解决
lightgbm报错：AttributeError: 'LGBMRegressor' object has no attribute 'best_iteration'
xckkcxxck的博客
03-20 5962
在进行预测的时候，y_pred_1 = gbm.predict(X_val, num_iteration=gbm.best_iteration) lightgbm报上述错误。 查阅官方文档后，明白与参数early_stopping_rounds early_stopping_rounds (int or None, optional (default=None)) – Activates e...
[LightGBM] [Fatal] Wrong size of feature_names
m0_53155317的博客
08-13 711
通过检查发现，数据集中有一列的列名过长，长度为30，删除这一列后程序能够运行。
【python】lightgbm 无法打开文件
qq_39057568的博客
09-20 577
在使用 lightgbm 读取模型文件时不能打开。
STM32 解析 JSON 之 cJSON
太阳火神的美丽人生
03-03 1087
什么是 JSON ？ 可以参考此网站链接：JSONhttp://www.json.org/json-en.html 此网站首页最下方是各种语言的实现库： cJSON 的 GitHub 地址：DaveGamble/cJSON: Ultralightweight JSON parser in ANSI C (github.com)https://github.com/DaveGamble/cJSON 只下载 cJSON.h 和 cJSON.c 两个文件即可： ...
C/C++ 实现文件透明加解密
尹成的技术博客
11-05 1万+
　　  今日遇见一个开超市的朋友，真没想到在高校开超市一个月可以达到月净利润50K，相比起我们程序员的工资，真是不可同日而语，这个世道啊，真是做程序员不如经商开超市，我们高科技的从业者，真是造原子弹不如卖茶叶蛋。请见代码详细注释   //  修复涉及后视列表的Win2K兼容性//  Fixes Win2K compatibility regarding lookaside
TCP/IP协议栈之LwIP（一）---网络数据包管理
流云
07-02 8464
一、TCP/IP分层思想 直接看理论书籍不够直观高效，这个系列依然主要从如何实现的角度介绍TCP/IP协议。就像前面介绍操作系统，主要从比较简单的UCOS源码介绍操作系统的实现，对RTOS的实现有了深入的了解，再去阅读Linux的源码会更容易理解。这里介绍的TCP/IP系列也从相对轻量的LwIP协议栈源码的实现来介绍TCP/IP协议的原理和应用，LwIP协议源码如下：http://git.sava...
比赛杀器LightGBM常用操作总结
qq_35985044的博客
10-03 919
1 安装方法 LightGBM的安装非常简单，在Linux下很方便的就可以开启GPU训练。可以优先选用从pip安装，如果失败再从源码安装。 安装方法：从源码安装 git clone --recursive https://github.com/microsoft/LightGBM ; cd LightGBM mkdir build ; cd build cmake .. # 开启MPI通信机制，训练更快 # cmake -DUSE_MPI=ON .. # GPU版本，训练更快 # c
LightGBM评分卡
缘 源 园
03-24 1605
lightGBM跨时间交叉验证.选择比较重要的特征,这些特征是禁得起跨时间交叉验证 逻辑回归/xgboost/lightgbm,线上跑lr模型,线下xgboost/lightgbm,上线之后需要监控不同信用分段的人群分布情况
【lightgbm 使用经验总结教训】
热门推荐
Wanderist_
06-13 2万+
做快手公司举办的2018中国高校计算机大赛--大数据挑战赛有半个月了，从5月30日开始到现在基本一直在构造特征，但是当我构造的特征到后期的时候，发现加特征之后，明明验证集上的准确率提高了，但是线上的结果一直提不上去，我怀疑的是特征的问题，但是今天6月13日，我仔细看了lightgbm算法的说明文档后才发现，我用的earlystopping方法一直没有用迭代最好的那一次去预测，即这个 同...
（原创）lightgbm 一些错误情况处理
weixin_30684743的博客
04-28 6823
1、做多分类问题时候（mutticlass），如果遇到 lightgbm.basic.LightGBMError: b'Number of classes should be specified and greater than 1 for multiclass training'需要在params里面添加num_class参数项 import lightgbm as lgb ...
lightGBM dump_model 错误解决
lccever的博客
05-17 2395
lightGBM dump_model的功能是吧模型转变为json字典，然后就可以对其进行方便的操作，然后有时候会报JSONDecodeError: Expecting ',' delimiter: line 7 column 95 (char 209)以下示例本错误并且提出解决办法from tsfresh import extract_features from tsfresh.feature_...
LightGBMError: Length of label is not same with #data
微电子学与固体电子学-俞驰
09-15 6145
完整错误如下如下： --------------------------------------------------------------------------- LightGBMError Traceback (most recent call last) <timed exec> in <module>...
Python深度学习入门指南：理论与实战
书中还涵盖了经典机器学习模型（如k-近邻、随机森林和支持向量机）的工作原理，以及神经网络的运作和训练过程。特别地，读者将学习如何运用卷积神经网络(CNN)，这是一个在图像处理等领域至关重要的技术。此外，本书...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Satisfying

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值