python多进程问题TypeError: can‘t pickle _thread.lock objects

最新推荐文章于 2024-02-22 14:05:30 发布
最新推荐文章于 2024-02-22 14:05:30 发布
阅读量1.6k 收藏
点赞数
文章标签： python 多进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41945949/article/details/119463086
版权

起因

今日在写BUG（项目）的时候遇到了这个问题，网上各种搜，就是找不到解决办法。

可能导致该问题的原因

我一开始是在主进程中创了两个子线程，但是python里的线程是共享一个核的资源，如果我想多吃几个核的资源该怎么办？那就只能用python的multiprocessing模块了呀。

这时候我心里想着，我之前不是已经创建了两个线程了吗，只要把其中一个改一改，丢到另一个进程中去不就行了？然后心里就美滋滋的写起了BUG。

一运行，啪，反手一个TypeError: can‘t pickle _thread.lock objects砸我脸上。

分文件编写

在回寝室的路上，突然想到在同一个文件下又创进程又创线程会不会有问题。趁着有思路马上把需要另开进程处理的代码放到另一个文件下，正手一个运行，运行成功！！！

ccp_huster
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows下python多进程multiprocessing报错TypeError: can't pickle _thread.lock objects
Supergirl12138的博客
08-09 1万+
pickle用法，以及在multiprocessing中的雷区 Process传参报错pickle process多进程的过程涉及pickle，俗称序列化，多进程传参数会自动将参数序列化，pickle.dumps() 我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象，他是一个Paramiko实例对象， 导致报错TypeError: can't pickle _threa...
TypeError: _queue_reduction(): incompatible function arguments.
01-20
TypeError: _queue_reduction(): incompatible function arguments. The following argument types are supported: 1. (process_group: torch.distributed.ProcessGroup, grads_batch: List[List[at::Tensor]], ...
TypeError: can't pickle _thread.lock objects
热门推荐
attackkk的博客
10-04 2万+
Python和Pytorch在MultiProcess模块和Queue模块上的区别分析问题描述 问题描述 今天在编写自己的多进程代码时发现程序卡住了。发现程序中，进程对象是由torch.multiprocessing.Process()创建的，而队列对象是由queue.Queue()创建的。现用精简的代码重现上述情况： import queue from torch.multiprocessing...
python 多进程报错：TypeError: can't pickle _thread.lock objects
zhaojiafu的博客
06-21 1万+
介绍： 写这个随笔主要是为了日后再遇见这个问题，而不用百度一直找原因，耽误时间，我用多进程进行爬虫时，使用下面这个process_one.start(),一直报错说这个地方，百度谷歌搜索了好一会，也没有找到可靠的解决方法，后来找了好一会没找到，主要还是以前看到进程学习的使用，start(),就是调用run()方法，想着直接调用run()试试，结果还就可以了。 process_one = Proce...
python 中 多进程报错：TypeError: can't pickle _thread.lock objects
qq_42102296的博客
07-06 7346
python中使用Tensorflow多进程报错 TypeError: can’t pickle _thread.lock objects 介绍 近期在调试深度学习的项目，使用的是Tensorflow库，用GA3C算法进行训练，在网上找来源码进行调试过程中，一直出现TypeError: can’t pickle _thread.lock objects错误，经过一段时间的折磨终于解决了。。。。。 ...
python 多线程时报错：TypeError: cannot pickle ‘_thread.lock‘ object
wjlwzl的专栏
08-17 1万+
在学习分布式爬虫时，遇到已下报错： 在网上搜了下，普遍都是这一种解决办法，降Process.start（）改成Process.run(),试了一下，确实不再报错，但是同时也不是多线程。参考文章：https://blog.csdn.net/weixin_42081389/article/details/93172508 继续搜索，终于找到不一样， https://blog.csdn.net/attackkk/article/details/102028534?utm_medium=distrib
解决python多线程报错:AttributeError: Cant pickle local object问题
01-20
File “Python37-32\lib\multiprocessing\pool.py”, line 261, in apply return self.apply_async(func, args, kwds).get() File “\lib\multiprocessing\pool.py”, line 657, in get raise se
Python 解决execjs._exceptions.ProgramError: ReferenceError: document is not defined报错问题
01-20
在Python中，`execjs`库是用来执行JavaScript代码的，它允许你在Python环境中运行JavaScript，这对于数据抓取、网页解析等任务非常有用。然而，在某些情况下，当你尝试使用`execjs`执行包含浏览器环境特定对象（如`...
TypeError document.getElementById(...) is null错误原因
09-03
`TypeError: document.getElementById(...) is null` 是一个常见的JavaScript错误，通常出现在尝试访问一个尚未加载或者不存在于DOM（文档对象模型）中的元素时。这个错误表示`document.getElementById`方法未能找到...
解决Python中报错TypeError: must be str, not bytes问题
09-17
### 解决Python中报错TypeError: must be str, not bytes问题 #### 一、问题背景与常见场景 在Python编程过程中，尤其是处理文件操作时，可能会遇到“TypeError: must be str, not bytes”这一错误。这通常发生在...
TypeError: can‘t pickle _thread.lock objects
kong326的专栏
04-20 2014
windows下python多进程multiprocessing报错TypeError: can’t pickle _thread.lock objects,而同样的用法在Linux下没问题。 如下会报错TypeError: can’t pickle _thread.lock objects sub_run = SubProductAndPositionProfitOverview(m_sub_trade_plan_names, self.stock_info，self.db_redis_tradereco
Python解决多进程TypeError: can‘t pickle _thread.lock
呆萌的代Ma
07-20 1283
完整的报错是：```TypeError: can't pickle _thread.lock``` 这只是解决方法之一，因为报这个错误的情况有很多 # 解决方法 修改传入参数，可能是传给多进程的参数中有无法使用```pickle.dump()```编码的参数，常见于：数据库的连接，自定义的类等...
TypeError: cannot pickle ‘_thread.lock‘ object问题
ygd11的专栏
05-05 826
在网上查找无果，只能修改/home/ygd/.local/lib/python3.10/site-packages/towhee/runtime/pipeline.py，将deepcopy的地方修改为=进行直接赋值。从执行结果上看的确可以规避这个问题，但不知道是否有负面影响。
Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object
最新发布
Irving.Gao的博客
02-22 1090
【代码】Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object。
TypeError:can‘t pickle ‘_thread.lock‘ object
weixin_55736687的博客
05-29 802
解决报错
typeerror: can't pickle _thread.lock objects
04-06
该错误表示无法对_thread.lock对象进行序列化（pickle），即无法将该对象转换成字节流以供存储或传输。可能的原因包括使用了不支持序列化的数据类型、多线程间未正确同步互斥锁（lock）的状态，或使用了不支持pickle的Python版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值