python 中 多进程报错：TypeError: can't pickle _thread.lock objects

最新推荐文章于 2024-02-22 14:05:30 发布
最新推荐文章于 2024-02-22 14:05:30 发布
阅读量7.3k 收藏 1
点赞数
分类专栏： 机器学习 文章标签： python tensorflow 多进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42102296/article/details/94865349
版权

python中使用Tensorflow多进程报错

TypeError: can’t pickle _thread.lock objects

介绍

近期在调试深度学习的项目，使用的是Tensorflow库，用GA3C算法进行训练，在网上找来源码进行调试过程中，一直出现TypeError: can’t pickle _thread.lock objects错误，经过一段时间的折磨终于解决了。。。。。

报错信息

在这里插入图片描述

解决

解决方式其实很狗血，也很简单粗暴。由于在多进程中，进程的唤醒与调用用不同的函数，并且start()和run()其实差不多，那么这样一来问题就解决了
在这里插入图片描述
只需要将调用进程的地方将start()改为run()即可

qq_42102296
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
windows下python多进程multiprocessing报错TypeError: can't pickle _thread.lock objects
Supergirl12138的博客
08-09 1万+
pickle用法，以及在multiprocessing中的雷区 Process传参报错pickle process多进程的过程涉及pickle，俗称序列化，多进程传参数会自动将参数序列化，pickle.dumps() 我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象，他是一个Paramiko实例对象， 导致报错TypeError: can't pickle _threa...
Python 解决execjs._exceptions.ProgramError: ReferenceError: document is not defined报错问题
01-20
在Python中，`execjs`库是用来执行JavaScript代码的，它允许你在Python环境中运行JavaScript，这对于数据抓取、网页解析等任务非常有用。然而，在某些情况下，当你尝试使用`execjs`执行包含浏览器环境特定对象（如`...
Python解决多进程TypeError: can‘t pickle _thread.lock
呆萌的代Ma
07-20 1283
完整的报错是：```TypeError: can't pickle _thread.lock``` 这只是解决方法之一，因为报这个错误的情况有很多 # 解决方法 修改传入参数，可能是传给多进程的参数中有无法使用```pickle.dump()```编码的参数，常见于：数据库的连接，自定义的类等...
python 多进程报错：TypeError: can't pickle _thread.lock objects
热门推荐
zhaojiafu的博客
06-21 1万+
介绍： 写这个随笔主要是为了日后再遇见这个问题，而不用百度一直找原因，耽误时间，我用多进程进行爬虫时，使用下面这个process_one.start(),一直报错说这个地方，百度谷歌搜索了好一会，也没有找到可靠的解决方法，后来找了好一会没找到，主要还是以前看到进程学习的使用，start(),就是调用run()方法，想着直接调用run()试试，结果还就可以了。 process_one = Proce...
python多进程问题TypeError: can‘t pickle _thread.lock objects
qq_41945949的博客
08-06 1696
起因 今日在写BUG（项目）的时候遇到了这个问题，网上各种搜，就是找不到解决办法。 可能导致该问题的原因 我一开始是在主进程中创了两个子线程，但是python里的线程是共享一个核的资源，如果我想多吃几个核的资源该怎么办？那就只能用python的multiprocessing模块了呀。 这时候我心里想着，我之前不是已经创建了两个线程了吗，只要把其中一个改一改，丢到另一个进程中去不就行了？然后心里就美滋滋的写起了BUG。 一运行，啪，反手一个TypeError: can‘t pickle _thread.loc
Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object
最新发布
Irving.Gao的博客
02-22 1090
【代码】Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object。
解决TypeError: can't pickle _thread.lock objects问题
木桥流水人家
03-15 3766
看了下github上的回答，发现是我的一个tensor游离在计算图之外。我自定义了池化层，返回池化索引。然后在反池化的时候，我把这个索引tensor当成了参数传入我自定义的反池化层（用lambda包装反池化函数）。这个是有问题的，应该把这个索引tensor和实际的input参数一起当成反池化层（lambda层）的输入。改完了，就没这个错误了，这个错误真是困扰了我好久。lambda层非常容易出错。（...
解决python多线程报错:AttributeError: Cant pickle local object问题
01-20
报错信息： Traceback (most recent call last): File “D:/flaskProject/test.py”, line 35, in test pool.apply(self.out, args=(i,)) File “Python37-32\lib\multiprocessing\pool.py”, line 261, in apply ...
小程序报错: Uncaught TypeError: Converting circular structure to JSON
03-29
今天把最近一直在开发的小程序放安卓手机上测试一下，结果某个页面就一直报错： Uncaught TypeError: Converting circular structure to JSON 先说一下基本的环境： 系统：Android 6.0.1 手机：小米4 微信版本：...
微信小程序报错：this.setData is not a function的解决办法
08-29
"微信小程序报错：this.setData is not a function的解决办法" 微信小程序报错：this.setData is not a function是一个常见的错误，特别是在使用微信小程序开发时。在这个错误中，this.setData变成了undefined，...
Python multiprocess pool模块报错pickling error问题解决方法分析
01-20
本文实例讲述了Python multiprocess pool模块报错pickling error问题解决方法。分享给大家供大家参考，具体如下： 问题 之前在调用class内的函数用multiprocessing模块的pool函数进行多线程处理的时候报了以下下错误信息: PicklingError: Can’t pickle : attribute lookup __builtin__.function failed 查了下官方文档发现python默认只能pickle以下的类型: None, True, and False integers, floa
Vue 报错TypeError: this.$set is not a function 的解决方法
10-17
在Vue.js框架中，`this.$set`是一个用于添加响应式属性的方法，它遵循Vue的依赖追踪机制，确保新添加的属性能够触发视图更新。然而，当你遇到`TypeError: this.$set is not a function`的错误时，通常是因为`this`上...
TypeError: can‘t pickle _thread.lock objects
小小臭臭的博客
12-01 1679
can't pickle _thread.lock objects
多进程 报错 TypeError: cannot pickle ‘_thread.lock‘ object
shawshank_bingo的博客
04-26 881
调试websocket对象用协程，线程都无法两者都运行，因此使用多线程，多线程也有报错 TypeError: cannot pickle ‘_thread.lock’ object。可以在ws_utils对象中创建全局变量redis，而不直接传redis对象，而传redis配置（或者直接从配置文件读取）部分。根据晚上查找资料说是在开启进程，会将信息序列化后传递到子进程，报错就是在信息进行序列化时候。猜测是上面ws_utils对象进行序列化问题，比较容易猜测，redis对象序列化存在问题。
已解决 TypeError: can‘t pickle _thread.lock objects
猫头虎
09-17 856
嗨，大家好，我是猫头虎博主，今天要和大家分享一个我在人工智能领域遇到的头疼问题——TypeError: can’t pickle _thread.lock objects。在本文中，我将深入研究这个Bug的原因、解决方法以及如何避免它。让我们一起探讨这个有趣的话题吧！在本文中，我们深入研究了Python中的TypeError: can’t pickle _thread.lock objects Bug。我们了解了它的原因，并提供了两种解决方法：使用dill库或避免使用_thread.lock对象。
已解决: TypeError: can‘t pickle _thread.lock objects 问题
猫头虎
02-03 1529
你好，猫头虎博主在此！今天，我们要深入探讨人工智能领域中一个常见的挑战——。这个Bug常发生在我们试图序列化包含线程锁对象的数据结构时。我将用典型的猫头虎风格，详细剖析这个错误的根本原因，提供实用的代码示例来解决这个问题，并讨论如何在未来避免这种情况。让我们一起揭开这个技术难题的面纱！为你的类实现自定义的序列化和反序列化方法，跳过不可序列化的对象。处理问题的关键在于理解哪些对象不能被序列化以及如何绕过这些限制。
TypeError: cannot pickle ‘_thread.lock‘ object的一个浅层解决办法
jbluxun的博客
11-01 1176
根源出在copy.deepcopy(self)函数上，其在序列化操作时面对_thread.lock会无法序列化。其中循环中注释掉的那一行是原代码，做了一个简单的判断，对于_thread.lock和lock的不做操作，绕过去。所谓浅层解决办法，就是顾头不顾腚，绕过去再说，不是终极解决办法，不过有用咱就先用着。这显然不是去根的办法，不过应应急还是可以的。等我回头有时间了，看看有没有根治的办法吧。函数： _get_spider_loader。
分析问题:can‘t pickle _thread.lock objects
weixin_43364556的博客
03-04 711
背景 1.使用multiprocessing多进程运行程序run_cmd(使用apply_async) 2.当定义的run_cmd无参数输入时运行正常，但是传入一些来自AWS的client参数就会直接报错can’t pickle _thread.lock objects，甚至不会进入run_cmd中执行程序 问题原因: multiprocessing运行多进程的时候会根据函数的需要传入多个参数，这些参数将会被pickle进行序列化 当参数对象在序列化的时候报错，那么就会出现当前的错误问题 解决办法 .
TypeError: cannot pickle ‘_thread.lock‘ object问题
ygd11的专栏
05-05 826
在网上查找无果，只能修改/home/ygd/.local/lib/python3.10/site-packages/towhee/runtime/pipeline.py，将deepcopy的地方修改为=进行直接赋值。从执行结果上看的确可以规避这个问题，但不知道是否有负面影响。
typeerror: can't pickle _thread.lock objects
04-06
该错误表示无法对_thread.lock对象进行序列化（pickle），即无法将该对象转换成字节流以...可能的原因包括使用了不支持序列化的数据类型、多线程间未正确同步互斥锁（lock）的状态，或使用了不支持pickle的Python版本。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值