python多进程问题TypeError: can‘t pickle _thread.lock objects

最新推荐文章于 2024-02-03 23:53:28 发布
最新推荐文章于 2024-02-03 23:53:28 发布
阅读量1.6k 收藏
点赞数
文章标签： python 多进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41945949/article/details/119463086
版权

起因

今日在写BUG（项目）的时候遇到了这个问题，网上各种搜，就是找不到解决办法。

可能导致该问题的原因

我一开始是在主进程中创了两个子线程，但是python里的线程是共享一个核的资源，如果我想多吃几个核的资源该怎么办？那就只能用python的multiprocessing模块了呀。

这时候我心里想着，我之前不是已经创建了两个线程了吗，只要把其中一个改一改，丢到另一个进程中去不就行了？然后心里就美滋滋的写起了BUG。

一运行，啪，反手一个TypeError: can‘t pickle _thread.lock objects砸我脸上。

分文件编写

在回寝室的路上，突然想到在同一个文件下又创进程又创线程会不会有问题。趁着有思路马上把需要另开进程处理的代码放到另一个文件下，正手一个运行，运行成功！！！

ccp_huster
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows下python多进程multiprocessing报错TypeError: can't pickle _thread.lock objects
Supergirl12138的博客
08-09 1万+
pickle用法，以及在multiprocessing中的雷区 Process传参报错pickle process多进程的过程涉及pickle，俗称序列化，多进程传参数会自动将参数序列化，pickle.dumps() 我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象，他是一个Paramiko实例对象， 导致报错TypeError: can't pickle _threa...
python 多进程报错：TypeError: can't pickle _thread.lock objects
zhaojiafu的博客
06-21 1万+
介绍： 写这个随笔主要是为了日后再遇见这个问题，而不用百度一直找原因，耽误时间，我用多进程进行爬虫时，使用下面这个process_one.start(),一直报错说这个地方，百度谷歌搜索了好一会，也没有找到可靠的解决方法，后来找了好一会没找到，主要还是以前看到进程学习的使用，start(),就是调用run()方法，想着直接调用run()试试，结果还就可以了。 process_one = Proce...
python 中 多进程报错：TypeError: can't pickle _thread.lock objects
qq_42102296的博客
07-06 7342
python中使用Tensorflow多进程报错 TypeError: can’t pickle _thread.lock objects 介绍 近期在调试深度学习的项目，使用的是Tensorflow库，用GA3C算法进行训练，在网上找来源码进行调试过程中，一直出现TypeError: can’t pickle _thread.lock objects错误，经过一段时间的折磨终于解决了。。。。。 ...
TypeError: can't pickle _thread.lock objects
06-15 717
TypeError: can't pickle _thread.lock objects 分布式进程学习 中出现的错误 QueueManager.register('get_task_queue', callable=get_task()) 原因是这里的callable的参数赋值方法加了（） 去掉就行了 # coding:utf-8 # WINDOWS impor...
python 多线程时报错：TypeError: cannot pickle ‘_thread.lock‘ object
wjlwzl的专栏
08-17 1万+
在学习分布式爬虫时，遇到已下报错： 在网上搜了下，普遍都是这一种解决办法，降Process.start（）改成Process.run(),试了一下，确实不再报错，但是同时也不是多线程。参考文章：https://blog.csdn.net/weixin_42081389/article/details/93172508 继续搜索，终于找到不一样， https://blog.csdn.net/attackkk/article/details/102028534?utm_medium=distrib
TypeError: can‘t pickle _thread.lock objects
kong326的专栏
04-20 2011
windows下python多进程multiprocessing报错TypeError: can’t pickle _thread.lock objects,而同样的用法在Linux下没问题。 如下会报错TypeError: can’t pickle _thread.lock objects sub_run = SubProductAndPositionProfitOverview(m_sub_trade_plan_names, self.stock_info，self.db_redis_tradereco
Python解决多进程TypeError: can‘t pickle _thread.lock
呆萌的代Ma
07-20 1277
完整的报错是：```TypeError: can't pickle _thread.lock``` 这只是解决方法之一，因为报这个错误的情况有很多 # 解决方法 修改传入参数，可能是传给多进程的参数中有无法使用```pickle.dump()```编码的参数，常见于：数据库的连接，自定义的类等...
TypeError: cannot pickle ‘_thread.lock‘ object问题
ygd11的专栏
05-05 823
在网上查找无果，只能修改/home/ygd/.local/lib/python3.10/site-packages/towhee/runtime/pipeline.py，将deepcopy的地方修改为=进行直接赋值。从执行结果上看的确可以规避这个问题，但不知道是否有负面影响。
TypeError:can‘t pickle ‘_thread.lock‘ object
weixin_55736687的博客
05-29 800
解决报错
已解决: TypeError: can‘t pickle _thread.lock objects 问题
最新发布
猫头虎
02-03 1488
你好，猫头虎博主在此！今天，我们要深入探讨人工智能领域中一个常见的挑战——。这个Bug常发生在我们试图序列化包含线程锁对象的数据结构时。我将用典型的猫头虎风格，详细剖析这个错误的根本原因，提供实用的代码示例来解决这个问题，并讨论如何在未来避免这种情况。让我们一起揭开这个技术难题的面纱！为你的类实现自定义的序列化和反序列化方法，跳过不可序列化的对象。处理问题的关键在于理解哪些对象不能被序列化以及如何绕过这些限制。
dask分布式出现TypeError: can't pickle _thread.lock objects错误解决办法
盘行
11-04 1238
看了好多博客，这个问题都没有讲清本质，看得我一知半解，下面是出错代码，一个简单地单词计数。 #dask 利用hdfs单词计数 from hdfs import Client from distributed import Client as Cl from collections import defaultdict hdfs = Client('http://192.168.175.139:9...
TypeError: can't pickle _thread.RLock objects
热门推荐
CICI❤️的博客
09-04 1万+
这个问题应该是使用多进行时候出现的问题 情况一：使用多进程的参数传递中使用了自定义类 比如： 解决方法：把类设置为全局变量进行访问，就不用传入到子进程了 比如： import multiprocessing as mp class Model: def __init__(self): self.a = 1 A=None def process_job(...
解决TypeError: can't pickle _thread.lock objects问题
木桥流水人家
03-15 3764
看了下github上的回答，发现是我的一个tensor游离在计算图之外。我自定义了池化层，返回池化索引。然后在反池化的时候，我把这个索引tensor当成了参数传入我自定义的反池化层（用lambda包装反池化函数）。这个是有问题的，应该把这个索引tensor和实际的input参数一起当成反池化层（lambda层）的输入。改完了，就没这个错误了，这个错误真是困扰了我好久。lambda层非常容易出错。（...
typeerror: can't pickle _thread.lock objects
04-06
该错误表示无法对_thread.lock对象进行序列化（pickle），即无法将该对象转换成字节流以供存储或传输。可能的原因包括使用了不支持序列化的数据类型、多线程间未正确同步互斥锁（lock）的状态，或使用了不支持pickle的Python版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值