[报错解决]模型单个epoch训练结束后保存失败AttributeError：Can‘t pickle local object ‘XXX.__init__.＜locals＞.＜lambda＞

最新推荐文章于 2024-06-08 22:10:10 发布
最新推荐文章于 2024-06-08 22:10:10 发布
阅读量309 收藏
点赞数
分类专栏： 报错解决 文章标签： python 深度学习 pytorch linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l999999999999999999/article/details/132729543
版权
文章讲述了在互联网背景下，模型训练过程中遇到的关于pickle库的报错，特别是在单个epoch结束后保存时。问题源于`EMASlideLoss`的初始化，解决方案是将`importpickle`替换为`importdillaspickle`，并提供了解决路径。这适用于Linux环境中使用特定Python环境的情况。
摘要由CSDN通过智能技术生成

互联网的意义在于高质量的共享

1.报错情景

模型单个epoch训练结束后保存时

2.报错信息

AttributeError: Can't pickle local object 'EMASlideLoss.__init__.<locals>.<lambda>'
WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 330776 closing signal SIGTERM

3.可能问题

pickle库导入有问题

4.解决方案

在报错的文件中，将import pickle改成import dill as pickle
文件路径(Linux环境)：/home/amax/anaconda3/envs/XXX/lib/python3.9/site-packages/torch/serialization.py
！！！注意，此时要先安装dill库

import pickle
改为：
import dill as pickle

大功告成！

艾远山
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
科研学习笔记！
06-26 1万+
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
【yolo系列：运行代码报错TypeError: __init__() missing 1 required positional argument: ‘c2‘】
weixin_47869094的博客
08-12 3240
在你的特定代码上下文中，这可能是对一个特定模块的实例化时出现的问题。出现这个问题是我在yolov7训练数据集，但是添加了别的模块导致的，比如说你添加了注意力机制，就应该在parse_model里面的模块里面加上对应的模块名字。比如我的报错是因为yolov7添加c3c2的模块，那么就需要在models/yolo.py里面的这个地方，加上你的c3c2。() missing，其实就是只缺少了其中某个模块的名字，导致引用的不是很正确，所以识别不到。加上这个刚添加的新模块，运行就没问题了。
python构造方法报错_解决python多线程报错:AttributeError: Can't pickle local object问题
weixin_39591455的博客
12-10 1792
报错信息：Traceback (most recent call last):File “D:/flaskProject/test.py”, line 35, in testpool.apply(self.out, args=(i,))File “Python37-32\lib\multiprocessing\pool.py", line 261, in applyreturn self.appl...
【Python】dill：解决python的“AttributeError: Can‘t pickle local object”及无法pickle lambda函数的问题
qq_43331089的博客
08-08 5287
python的pickle是用来序列化对象很方便的工具，但是pickle对传入对象的要求是不能是内部类，也不能是lambda函数。比如尝试pickle这个内部类：结果会报错这个问题可以用第三方库dill来解决： （）结果：dill除了可以处理pickle可以处理的标准类型外：嗯，还是很好用的。(另外python内建库shelve也是用的pickle做后端，所以默认也是不能处理内部类和lambda函数的。)...
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck
最新发布
2401_85597312的博客
06-08 827
入门必会知识点 标题 链接 写给初学者的YOLO目标检测 概述 https://blog.csdn.net/shangyanaf/article/details/130399439 YOLOv8 来了，快速上手实操 https://blog.csdn.net/shangyanaf/article/details/130539468 目标检测算法以及常用库概述 https://blog.csdn.net/shangyanaf/article/details/132988174 万字
pytorch 使用 multiprocess库 让 Dataloader 不再报错 AttributeError: Can‘t pickle local object
ONE_SIX_MIX的专栏
04-26 1773
pytorch 的 dataloader 默认使用 python 自带的多进程库 multiprocessing ，它又使用 pickle 作为序列化库。pickle 库只能储存一些简单类型。如果 dataset 中使用 lambda 函数对象，将会导致出现这样的错误 AttributeError: Can’t pickle local objectmultiprocess 的 pip 安装方法。
AttributeError: Can't pickle local object 解决办法
热门推荐
qq_39314099的博客
11-07 6万+
今天意外的发现了python装饰器和多进程之间的一个小坑，起初简单写了一个装饰器，用来给程序计时，自测了下没有什么问题 def times_used(*dargs): def time_(f): def count_time(*args, **kw): start = datetime.datetime.now() pr...
python class函数报错_解决python多线程报错:AttributeError: Can't pickle local object问题...
weixin_42692935的博客
12-29 832
报错信息：Traceback (most recent call last):File “D:/flaskProject/test.py”, line 35, in testpool.apply(self.out, args=(i,))File “Python37-32\lib\multiprocessing\pool.py", line 261, in applyreturn self.appl...
记录解决Python使用多进程时报错AttributeError: Can‘t get attribute XXX on ＜module ‘__main__‘ (built-in)＞
LayJell的博客
02-16 8346
在学习Python使用多进程时遇到的问题，记录如下： linux系统和windows系统下有所不同，在linux系统的jupyter notebook可以直接用多进程 例如： # linux系统下的jupyter notebook # In[1] import multiprocessing as mp import random def cal_pi(n): '''使用蒙特卡洛方法计算pi''' t = 0 for _ in range(n): x = rando
Pytorch 线性回归 grad清零报错：w.grad.data.zero_() AttributeError: 'NoneType' object has no attribute 'data'
刺无名客的博客
09-19 1万+
学习了https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch/blob/master/chapter3_NN/linear-regression-gradient-descend.ipynb 上的Pytorch线性回归这一章，自己复了一遍代码后，再删去了一些人为学习型的输出和plot画图代码后报错 w.g...
问题解决：AttributeError: module 'paddle.fluid' has no attribute 'EndStepEvent'
左手の明天的博客
05-02 4142
问题解决：AttributeError: module 'paddle.fluid' has no attribute 'EndStepEvent'问题描述解决思路问题解决 问题描述 在使用paddle.fluid导入EndStepEvent过程中 global step if isinstance(event, fluid.EndStepEvent): if event...
PYTORCH保存模型时报错AttributeError: Can‘t pickle local object ‘Stage.__init__.＜locals＞.＜lambda＞‘
m0_48095841的博客
03-10 1030
PYTORCH保存模型时报错AttributeError: Can't pickle local object 'Stage.__init__..'
Can't pickle local object
Talk Is Cheap
05-05 5320
python3，windows 把 import pickle 改成 import dill as pickle
一行代码解决 AttributeError: Can‘t pickle local object ‘**.＜locals＞.call_training‘
Blog | Laulliam
09-30 556
解决方案：很多说什么worker_num 纯属误导 引入dill进行序列化。原因：在Windows环境下和Linux下序列化不同。记录下最近在复现论文代码是时候遇到的问题。
报错AttributeError: Can‘t pickle local object ‘Worker.__init__.＜locals＞.＜lambda＞‘解决办法
小小何先生的学习之旅
12-03 1万+
  遇到了个错误，百度之后发现没有解释这个错误的，记录一下： Can't pickle local object 'Worker.__init__.<locals>.<lambda>'   这个错误的意思就是在初始化函数__init__，中使用了lambda表达式。   只需要将其改为常规的def定义的函数即可。 参考： https://discuss.pytorch.org/t/cant-pickle-local-object-dataloader-init-locals-lam
基于SlideLoss改进YOLO的大豆种子缺陷分类系统
xuehaisj的博客
12-03 1102
基于SlideLoss改进YOLO的大豆种子缺陷分类系统
AttributeError: Can‘t pickle local object ‘Parameter.__init__.＜locals＞.＜lambda＞
weixin_44700879的博客
09-06 2297
AttributeError: Can't pickle local object
YOLOV8V10改进系列指南
qq_37706472的博客
02-19 4万+
YOLOV8V10改进系列指南，仅仅69.9包含YOLOV8、YOLOV10的两个主流模型改进方案、含有180+种改进的集合，且含有多种二次创新和原创改进！
【Python】多进程 AttributeError: Can‘t pickle local object
qq_43331089的博客
08-08 1万+
最近写了一个在电脑磁盘搜索全部文件的的一个小程序，效果达到了，但是效率5~6分钟，效率是十分的不理想。故而直接想到提升效率的多线程或者多进程，然后发现的一个诡异的事情，我使用的是官方的Cpython 版本的python。发现，。后来了解到在多线程里面，受到的影响，多线程是共用一个GIL,多进程用的每一个进程一个CIL,所以效率更甚。然而，问题出现了，{-}{-}{-}...
attributeerror: module 'tensorboard.summary._tf.summary' has no attribute 'filewriter'
09-26
这个错误提示意味着你的代码中出现了以下问题： 在使用`tensorboard.summary._tf.summary.filewriter`时，该模块中没有名为`filewriter`的属性，因此会引发`AttributeError`错误。 可能的原因是你使用了旧版本的TensorFlow，而`filewriter`属性已被弃用或删除。建议尝试更新TensorFlow版本，或者使用其他可用的TensorBoard写入器来记录数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值