成功解决ForkingPickler(file, protocol).dump(obj) TypeError: can‘t pickle Environment objects

已于 2022-03-07 20:36:48 修改
阅读量2.7w 收藏 18
点赞数 8
分类专栏： Computer knowledge 文章标签： protocol
于 2019-05-17 21:46:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/90301056
版权

成功解决ForkingPickler(file, protocol).dump(obj) TypeError: can't pickle Environment objects

目录

解决问题

解决思路

解决方法(三种)

T1、将队列移动到self，而不是作为函数包和send的参数

T2、multiprocessing.Manager().Queue() instead of multiprocessing.Queue

解决问题

ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle Environment objects

解决思路

类型错误:无法pickle环境对象

解决方法(三种)

T1、将队列移动到self，而不是作为函数包和send的参数

参考国外网友解释：TypeError: can't pickle _thread.lock objects

T2、multiprocessing.Manager().Queue() instead of multiprocessing.Queue

参考国外网友解释：multiprocessing.Pool - PicklingError: Can't pickle <type 'thread.lock'>: attribute lookup thread.lock failed

参考文章
python2，socket多进程的错误pickle.PicklingError: Can't pickle
python3 PicklingError: Can't pickle attribute lookup on __main

一个处女座的程序猿
关注
  • 8
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 14
    评论
专栏目录
成功解决can‘t pickle Environment objects和Ran out of input
OpenSceneGraph的博客
09-28 5243
成功解决ForkingPickler(file, protocol).dump(obj) TypeError: can't pickle Environment objects 以及self = reduction.pickle.load(from_parent) EOFError: Ran out of input 本人是在调试lsun数据集&&神经网络代码时出现，问题显示如下： 因为windows操作系统的原因，在Windows中，多进程multiprocessing使用的是序
Python使用pickle模块存储数据报错解决示例代码
12-25
本文研究的主要是Python使用pickle模块存储数据报错解决方法，以代码的形式展示，具体如下。 首先来了解下pickle模块 pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。 pickle模块只能在python中使用，python中几乎所有的数据类型（列表，字典，集合，类等）都可以用pickle来序列化， pickle序列化后的数据，可读性差，人一般无法识别。 接下来我们看下Python使用pickle模块存储数据报错解决方法。 代码： # 写入错误 TypeError: write() argument must be str, not byte
【Python】解决Python报错：AttributeError: ‘NoneType‘ object has no attribute ‘xxx‘
最新发布
科技改变人类，技术成就未来
05-31 1万+
成功解决Python报错：AttributeError: ‘NoneType‘ object has no attribute ‘xxx‘。`AttributeError: 'NoneType' object has no attribute 'xxx'` 错误发生的常见原因包括：1. **对象未正确初始化**：变量未被正确初始化或被显式设置为 `None`。2. **函数或方法返回值为 `None`**：函数或方法返回 `None`，而你试图访问返回值的属性。3. **链式调用失败**：链式方法调用时，中
解决ForkingPickler(file, protocol).dump(obj) TypeError: can‘t pickle Environment objects
牛肉胡辣汤
10-17 1631
在并行编程中，当需要将自定义对象序列化后进行传递时，有时会遇到​​错误。这是由于pickle无法序列化包含Environment对象的对象导致的。为了解决这个问题，本文提供了一个可能的解决方案，通过自定义一个处理函数，去掉或转换对象中的Environment对象，从而使pickle可以正确序列化。使用​​对象并指定自定义的reduce函数，可以实现对对象的序列化。希望本文的解决方法能够帮助到你在并行编程中遇到的类似问题。假设我们有一个应用场景，需要在多个电脑上同时运行训练机器学习模型的任务，利用​。
AttributeError: Can't pickle local object 'BaseDataset.img_transformer.<locals>.<lambda>'
weixin_39450145的博客
03-17 6206
1. 问题： File "E:\ganimation_replicate-master\data\data_loader.py", line 46, in __iter__ for i, data in enumerate(self.dataloader): File "E:\Anaconda3\envs\pytorch36\lib\multiprocessing\reduction....
ForkingPickler(file, protocol).dump(obj) TypeError: ‘NoneType‘ object is not callable
包龙星的剑
10-11 1407
在使用multiprocessing时出现该报错，不知问题出在哪，网上找了好久，最终问题解决了，但具体原因仍然不是很清楚，暂且记录一下，也给有同样问题的伙伴提供一些思路。
ForkingPickler(file, protocol).dump(obj) TypeError: can‘t pickle Environment objects
不要给自己设限，尝试更多可能（思所向 皆可往）
03-10 401
因为windows操作系统的原因，在Windows中，多进程multiprocessing使用的是序列化pickle来在多进程之间转移数据，而socket对象是不能被序列化的，但是在linux操作系统上却没问题，因为在linux上多进程multiprocessing使用的是fork，所以在windows上可以改用多线程。因为网络通信属于io密集型的操作，对cpu计算要求不高，不用多进程，用多线程就行。，记得无论是参数设置还是数据集读取处理的代码，都要重新设置。
解决Python中报错TypeError: must be str, not bytes问题
01-20
pickle.dump(shoplist,f) f.close() del shoplist f = open('c:\poem.txt','r') storedlist = pickle.load(f) print(storedlist) 执行上述程序时候报错： TypeError: must be str, not bytes 解决方法： 在使用...
Python multiprocess pool模块报错pickling error问题解决方法分析
01-20
本文实例讲述了Python ...PicklingError: Can’t pickle <type>: attribute lookup __builtin__.function failed 查了下官方文档发现python默认只能pickle以下的类型: None, True, and False integers, floa
stackdump.github.io:关于状态机和区块链的博客
05-11
先决条件 apt-get install python3-sphinx
dump-env：创建.env文件的实用工具
01-30
创建.env文件的实用工具 dump-env使用.env.template文件和一些可选的环境变量从这两个来源创建新的.env文件。 不使用外部依赖项。为什么？ 为什么我们需要这样的工具？ 好吧，当您的CI正在构建docker （或其他）映像...
空白卡数据.dump
04-08
IC卡空白卡数据，空白数据可复制到NFC设备。如手环，手机。设备先复制空白数据，再用写卡工具将IC卡数据写入到NFC设备上，就可以用NFC设备刷门禁，电梯之类的了。
彻底解决 TypeError: cannot pickle ‘_thread.RLock‘ object ，以 PyTorch DDP 为例
热门推荐
LutingWang的博客
04-15 2万+
解决问题的思路是，首先找到导致序列化失败的对象，然后将其覆盖为一个正常对象。
使用windows进行YOLO8训练时报错ForkingPickler(file, protocol).dump(obj)BrokenPipeError: [Errno 32] BrokenPipe
Jin1Yang的博客
02-27 1763
使用windows进行YOLO8的自定义数据训练时报错ForkingPickler(file, protocol).dump(obj)BrokenPipeError: [Errno 32] Broken pipe
python2，socket多进程的错误pickle.PicklingError: Can't pickle <built-in method recvfrom_into of _socket.soc
黄金罗盘的博客
07-22 1万+
在stackoverflow上找到了答案，是因为windows操作系统的原因，在Windows中，多进程multiprocessing使用的是序列化pickle来在多进程之间转移数据，而socket对象是不能被序列化的，但是在linux操作系统上却没问题，因为在linux上多进程multiprocessing使用的是fork，所以在windows上可以改用多线程。 参考资料： https://
pytest-parallel在windows下执行失败及解决办法AttributeError: Can‘t pickle local object ‘pytest_addoption.＜locals
成都-阿木木的博客
08-10 2839
pytest-parallel在windows下执行失败及解决办法 问题版本：0.1.0 报错日志： Testsessionstarts(platform:win32,Python3.8.2,pytest5.4.1,pytest-sugar0.9.4) rootdir:D:\TestScriptDir\pyqt5_study plugins:allure-pytest-2.8.13,forked-1.2.0,html-2.1.1,metadata-1.8.0,...
ForkingPickler(file, protocol).dump(obj)BrokenPipeError: [Errno 32] Broken pipe问题解决
weixin_42491648的博客
08-16 423
跑VAE模型时遇到的问题。
ForkingPickler(file, protocol).dump(obj) TypeError: can't pickle dict_keys objects
03-14
这个错误是因为 Python 的 pickle 模块不能序列化 dict_keys 对象。解决方法是将 dict_keys 对象转换为列表，然后再进行序列化。可以使用 list() 函数将 dict...ForkingPickler(file, protocol).dump(list(obj.keys()))
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值