windows下python多进程multiprocessing报错TypeError: can't pickle _thread.lock objects

最新推荐文章于 2024-06-11 19:48:53 发布
最新推荐文章于 2024-06-11 19:48:53 发布
阅读量1.4w 收藏 10
点赞数 5
分类专栏： multiprocessing pickle 文章标签： pickle multiprocessing 多进程 序列化 windows多进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27158747/article/details/98948548
版权
在Windows上使用Python的multiprocessing模块时，由于pickle序列化的问题，当尝试传递不可序列化的对象（如Paramiko SSH实例）作为参数时，会抛出`TypeError: can't pickle _thread.lock objects`。解决办法是在启动多进程前检查参数是否能被pickle序列化。文章介绍了pickle的用途，可序列化的对象类型，以及pickle的相关操作方法。
摘要由CSDN通过智能技术生成

pickle用法，以及在multiprocessing中的雷区

Process传参报错pickle

process多进程的过程涉及pickle，俗称序列化，多进程传参数会自动将参数序列化，pickle.dumps()

我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象，他是一个Paramiko实例对象，

导致报错TypeError: can't pickle _thread.lock objects

在多进程传参时要避免雷区，就首先要

 检测自己的参数能不能序列化，在传参前检测一下  pickle.dumps()  是否会报错

下面是我的代码，其中，p是proxiesIp类的初始化，proxiesIp类是自定义的一个初始化ssh的实例对象

if __name__ == '__main__':
    freeze_support()
    # 初始化代理ip
    p = proxiesIp()
    # p.start_tiny_proxy()
    p.adsl_restart()
    p = pickle.dumps(p)

out：

Traceback (most recent call last):
  File "F:/alisonProject/User-Profile-Recommend/Alison_user_profile_movie_recommend/src/test_process.py", line 20, in <module>
    p = pickle.dumps(p)
Ty
最低0.47元/天 解锁文章
团子团子酱
关注
  • 5
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
-pickle.PicklingError: Can't pickle <function... pycharm2023运行报错
06-03
然而，在升级PyCharm至2023版本后，你遇到了一个特定的错误：“_pickle.PicklingError: Can't pickle <function...”，这意味着在尝试序列化某个函数时出现了问题。 `PicklingError`通常是由于`pickle`模块无法处理...
python 多进程报错：TypeError: can't pickle _thread.lock objects
zhaojiafu的博客
06-21 1万+
介绍： 写这个随笔主要是为了日后再遇见这个问题，而不用百度一直找原因，耽误时间，我用多进程进行爬虫时，使用下面这个process_one.start(),一直报错说这个地方，百度谷歌搜索了好一会，也没有找到可靠的解决方法，后来找了好一会没找到，主要还是以前看到进程学习的使用，start(),就是调用run()方法，想着直接调用run()试试，结果还就可以了。 process_one = Proce...
彻底解决 TypeError: cannot pickle ‘_thread.RLock‘ object ，以 PyTorch DDP 为例
热门推荐
LutingWang的博客
04-15 2万+
解决问题的思路是，首先找到导致序列化失败的对象，然后将其覆盖为一个正常对象。
【Python】成功解决Python报错：pickle.PickleError: can‘t pickle xxx object
最新发布
科技改变人类，技术成就未来
06-11 1032
成功解决python报错：pickle.PickleError: can't pickle xxx object。`pickle.PickleError: can't pickle xxx object` 是使用 Python 的 `pickle` 模块进行对象序列化时的常见错误，表示某个对象不能被 pickle 序列化。这通常是因为 `pickle` 模块只能处理一些特定类型的对象，如基本数据类型（如列表、字典、元组）和那些实现了特定协议的自定义类对象。
TypeError: cannot pickle ‘_thread.lock‘ object的一个浅层解决办法
jbluxun的博客
11-01 1176
根源出在copy.deepcopy(self)函数上，其在序列化操作时面对_thread.lock会无法序列化。其中循环中注释掉的那一行是原代码，做了一个简单的判断，对于_thread.lock和lock的不做操作，绕过去。所谓浅层解决办法，就是顾头不顾腚，绕过去再说，不是终极解决办法，不过有用咱就先用着。这显然不是去根的办法，不过应应急还是可以的。等我回头有时间了，看看有没有根治的办法吧。函数： _get_spider_loader。
已解决: TypeError: can‘t pickle _thread.lock objects 问题
猫头虎
02-03 1529
你好，猫头虎博主在此！今天，我们要深入探讨人工智能领域中一个常见的挑战——。这个Bug常发生在我们试图序列化包含线程锁对象的数据结构时。我将用典型的猫头虎风格，详细剖析这个错误的根本原因，提供实用的代码示例来解决这个问题，并讨论如何在未来避免这种情况。让我们一起揭开这个技术难题的面纱！为你的类实现自定义的序列化和反序列化方法，跳过不可序列化的对象。处理问题的关键在于理解哪些对象不能被序列化以及如何绕过这些限制。
TypeError: can‘t pickle _thread.lock objects
小小臭臭的博客
12-01 1679
can't pickle _thread.lock objects
TypeError: can't pickle _thread.lock objects
attackkk的博客
10-04 2万+
Python和Pytorch在MultiProcess模块和Queue模块上的区别分析问题描述 问题描述 今天在编写自己的多进程代码时发现程序卡住了。发现程序中，进程对象是由torch.multiprocessing.Process()创建的，而队列对象是由queue.Queue()创建的。现用精简的代码重现上述情况： import queue from torch.multiprocessing...
解决python多线程报错:AttributeError: Cant pickle local object问题
01-20
报错信息： Traceback (most recent call last): File “D:/flaskProject/test.py”, line 35, in test pool.apply(self.out, args=(i,)) File “Python37-32\lib\multiprocessing\pool.py”, line 261, in apply ...
Python multiprocess pool模块报错pickling error问题解决方法分析
01-20
之前在调用class内的函数用multiprocessing模块的pool函数进行多线程处理的时候报了以下下错误信息: PicklingError: Can’t pickle <type>: attribute lookup __builtin__.function failed 查了下官方文档发现python...
Python多进程multiprocessing.Pool类详解
09-20
总的来说，`multiprocessing.Pool`类是Python中实现并行处理的强大工具，它简化了进程管理，使得在多核CPU环境下编写高效的多进程程序变得更加容易。通过合理利用Pool，我们可以显著提升那些可以并行化的任务的执行...
解决windows下python3使用multiprocessing.Pool出现的问题
09-17
### 解决Windows下Python3使用`multiprocessing.Pool`出现的问题 #### 一、问题背景与原理 在Windows环境下使用Python的`multiprocessing`模块时，可能会遇到一些与Linux环境下的行为差异。这是因为`...
已解决 TypeError: can‘t pickle _thread.lock objects
猫头虎
09-17 641
嗨，大家好，我是猫头虎博主，今天要和大家分享一个我在人工智能领域遇到的头疼问题——TypeError: can’t pickle _thread.lock objects。在本文中，我将深入研究这个Bug的原因、解决方法以及如何避免它。让我们一起探讨这个有趣的话题吧！在本文中，我们深入研究了Python中的TypeError: can’t pickle _thread.lock objects Bug。我们了解了它的原因，并提供了两种解决方法：使用dill库或避免使用_thread.lock对象。
TypeError: can't pickle _thread.RLock objects
CICI❤️的博客
09-04 1万+
这个问题应该是使用多进行时候出现的问题 情况一：使用多进程的参数传递中使用了自定义类 比如： 解决方法：把类设置为全局变量进行访问，就不用传入到子进程了 比如： import multiprocessing as mp class Model: def __init__(self): self.a = 1 A=None def process_job(...
TypeError:can‘t pickle ‘_thread.lock‘ object
weixin_55736687的博客
05-29 802
解决报错
Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object
Irving.Gao的博客
02-22 1090
【代码】Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object。
python 多线程时报错：TypeError: cannot pickle ‘_thread.lock‘ object
wjlwzl的专栏
08-17 1万+
在学习分布式爬虫时，遇到已下报错： 在网上搜了下，普遍都是这一种解决办法，降Process.start（）改成Process.run(),试了一下，确实不再报错，但是同时也不是多线程。参考文章：https://blog.csdn.net/weixin_42081389/article/details/93172508 继续搜索，终于找到不一样， https://blog.csdn.net/attackkk/article/details/102028534?utm_medium=distrib
Python程序多进程，我没有用到select.epoll，请问为什么会报错TypeError: can't pickle select.epoll objects
07-20
抱歉，我之前的回答有些误导。`TypeError: can't pickle select.epoll objects`错误与`select.epoll`对象无关。 实际上，这个错误是由于`multiprocessing`模块在启动进程时需要对参数进行序列化，但是某些对象是不可序列化的，例如文件句柄、网络连接等。当你尝试将这些不可序列化的对象作为参数传递给多进程函数时，就会引发`TypeError: can't pickle`错误。 要解决这个问题，你可以考虑将不可序列化的对象移到主进程中创建，然后使用进程间通信机制（如`Pipe`、`Queue`等）将其传递给子进程。这样子进程就可以共享主进程中的这些对象，而不需要对其进行序列化和反序列化。 以下是一个示例代码，演示了如何在多进程中共享不可序列化的对象： ```python import multiprocessing as mp def process_function(obj): # 在这里使用不可序列化的obj对象 # ... if __name__ == '__main__': # 在主进程中创建不可序列化的对象 obj = ... # 这里是你的不可序列化的对象 # 创建进程通信管道 parent_conn, child_conn = mp.Pipe() # 创建子进程 process = mp.Process(target=process_function, args=(obj,)) process.start() # 将对象传递给子进程 child_conn.send(obj) child_conn.close() # 等待子进程结束 process.join() ``` 在上述示例代码中，我们首先在主进程中创建了一个不可序列化的对象`obj`，然后创建了一个进程通信管道（`Pipe`）。接下来，我们创建了子进程，并将管道的一端传递给子进程。然后，我们使用管道将不可序列化的对象`obj`发送给子进程。子进程在收到对象后，就可以直接使用它。 需要注意的是，这只是一个示例，你需要根据你的实际情况来替换`...`部分的代码，将其中的不可序列化对象创建和传递逻辑替换成你自己的代码。另外，还可以考虑使用其他的进程间通信机制，如`Queue`、`Manager`等，具体取决于你的需求和代码结构。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值