windows下python多进程multiprocessing报错TypeError: can't pickle _thread.lock objects

最新推荐文章于 2024-07-20 10:47:48 发布

团子团子酱

最新推荐文章于 2024-07-20 10:47:48 发布

阅读量1.5w

点赞数 5

分类专栏： multiprocessing pickle 文章标签： pickle multiprocessing 多进程序列化 windows多进程

本文链接：https://blog.csdn.net/qq_27158747/article/details/98948548

版权

在Windows上使用Python的multiprocessing模块时，由于pickle序列化的问题，当尝试传递不可序列化的对象（如Paramiko SSH实例）作为参数时，会抛出`TypeError: can't pickle _thread.lock objects`。解决办法是在启动多进程前检查参数是否能被pickle序列化。文章介绍了pickle的用途，可序列化的对象类型，以及pickle的相关操作方法。

摘要由CSDN通过智能技术生成

pickle用法，以及在multiprocessing中的雷区

Process传参报错pickle

process多进程的过程涉及pickle，俗称序列化，多进程传参数会自动将参数序列化，pickle.dumps()

我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象，他是一个Paramiko实例对象，

导致报错TypeError: can't pickle _thread.lock objects

在多进程传参时要避免雷区，就首先要

检测自己的参数能不能序列化，在传参前检测一下 pickle.dumps() 是否会报错

下面是我的代码，其中，p是proxiesIp类的初始化，proxiesIp类是自定义的一个初始化ssh的实例对象

if __name__ == '__main__':
    freeze_support()
    # 初始化代理ip
    p = proxiesIp()
    # p.start_tiny_proxy()
    p.adsl_restart()
    p = pickle.dumps(p)

out：

Traceback (most recent call last):
  File "F:/alisonProject/User-Profile-Recommend/Alison_user_profile_movie_recommend/src/test_process.py", line 20, in <module>
    p = pickle.dumps(p)
Ty