使用Multiprocessing.process时出现PicklingError解决方法

最新推荐文章于 2022-12-16 12:31:21 发布
最新推荐文章于 2022-12-16 12:31:21 发布
阅读量491 收藏
点赞数
文章标签： flask python 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45193154/article/details/125906426
版权

这里写自定义目录标题

问题

在使用Flask作为Electron程序的后端框架时，在Falsk主程序中使用Multiprocessing的process函数来创建一个新的进程，process创建的函数进程需要传入Flask的request对象作为参数，但是在直接传入request对象时会报错，报错代码如下：

_pickle.PicklingError: args[0] from __newobj__ args has the wrong class

原因

从报错代码可以看出跟pickle有关系，这个函数是对参数进行序列化用的，可以实现对象的存储和恢复，Multiprocessing的参数默认好像就是用这种方式，pickle并不是所有对象都可以序列化，估计request就不行，具体可以参考知乎这篇文章python中multiprocess的参数共享与传递

解决办法

既然request不可以序列化，那就转化一下，把request对象转化为request.json或者request.data等对象，并对应修改下自己的方法函数，就可以了

superanet
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python multiprocessing------PicklingError: Can't pickle
github_40094105的博客
02-12 1万+
http://bbs.chinaunix.net/thread-4111379-1-1.html import multiprocessing class someClass(object): def __init__(self): pass def f(self, x): return x*x def go(self): ...
关于tcp连接对象在多进程中的错误：pickle.PicklingError
weixin_30677073的博客
02-09 111
如果需要在多进程中使用tcp连接的对象，那么不能再主进程中将这个对象创建好当做参数传给子进程，因为在创建子进程是需要序列化对象，然而socket对象是不能序列化的，会产生一个pickle.PicklingError的错误； 所以创建socket对象可以在子进程中创建，也就是说多个子进程是不能使用同一个socket对象的。 转载于:https://www.cnblogs.com/cwp-bg/...
多进程方法multiprocessing的Process使用错误
qq_28709643的博客
04-09 4140
想要按照书上测试多进程模块multiprocessing时，会发现使用错误 from multiprocessing import Process import time def test(): while True: print("uuuuu") time.sleep(1) p=Process(target=test) p.start()#让这个进程执...
Python multiprocess pool模块报错pickling error问题解决方法分析
01-20
本文实例讲述了Python multiprocess pool模块报错pickling error问题解决方法。分享给大家供大家参考，具体如下： 问题 之前在调用class内的函数用multiprocessing模块的pool函数进行多线程处理的时候报了以下下错误信息: PicklingError: Can’t pickle : attribute lookup __builtin__.function failed 查了下官方文档发现python默认只能pickle以下的类型: None, True, and False integers, floa
multiprocessing with ugly pickle
visionfans的专栏
09-21 733
Parallelism and Serialization : how poor pickling breaks multiprocessing Python Pickling and multiprocessing What can multiprocessing and dill do together?
解决windows下python3使用multiprocessing.Pool出现的问题
09-17
主要介绍了解决windows下python3使用multiprocessing.Pool出现的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python multiprocessing.Manager介绍和实例（进程间共享数据）
12-23
使用multiprocessing.Manager可以简单地使用这些高级接口。 Manager()返回的manager对象控制了一个server进程，此进程包含的python对象可以被其他的进程通过proxies来访问。从而达到多进程间数据通信且安全。 ...
_pickle.PicklingError: Can't pickle (class 'cv2.KeyPoint'): it's not the same object as cv2.KeyPoint
freedom的博客
08-12 7235
解决方法参考：https://stackoverflow.com/questions/10045363/pickling-cv2-keypoint-causes-picklingerror 在使用SIFT将提取到的特征保存到pkl文件时，会出现如下错误： _pickle.PicklingError: Can't pickle <class 'cv2.KeyPoint'>: it's...
_pickle.PicklingError:Can‘t pickle ＜function ＜lambda＞ at 0＞: attribute lookup ＜lambda＞ on xxx failed
天天放羊的博客
12-16 1570
_pickle.PicklingError: Can't pickle : attribute lookup on datasets.cropdiseases failed
python的multiprocessing.Process
davidsu33的专栏
12-22 752
#encoding=utf-8 #python进程通信,使用multiprocessing的Queue来 #共享通信数据 #Process.run 如果在创建的时候不指定target，也可以将 #执行目标赋值给run，执行start会执行run函数 try: from multiprocessing import Process, Pool, Queue import time
pickle.PicklingError错误 （pickle 无法保存 namedtuple）
Lost Planet
12-22 2910
Debug：pickle 无法保存 namedtuple
multiprocessing.Pool报pickling error
热门推荐
王二的专栏
04-21 1万+
multiprocessing.Pool出现pickling error
PicklingError: args[0] from __newobj__ args has the wrong class
漠月的博客
04-05 1375
大纲详细说明错误定位问题解决需要注意的类似问题TypeError: a bytes-like object is required, not 'str' 详细说明 在跑网上代码的时候出现了这个错误 PicklingError: args[0] from __newobj__ args has the wrong class 用了很长时间终于解决该问题，下面详细说一下。 由于跑的代码是几年前的老代码了，当时原作者使用的是python2.x版本。我则依旧使用python3.x。代码的转换也是用了一个下午，后来
Flask 处理高并发、多线程
qq_35622837的博客
04-21 3376
前言： 使用flask做服务时，可以使用python run.py的方式运行，但是这样不能用于生产环境，可能会出现连接无响应的情况。后来通过查找资料，发现flask服务处理多线程、高并发的一下方法，主要有一下几个方面： 1.通过设置app.run()的参数，来达到多线程的效果，具体参数： # 1.threaded : 多线程支持，默认为False，即不开启多线程; app.run(...
Python 之小白的系统进程的理解之multiprocessing
Mr_zhang的博客
02-14 178
multiprocessing        如果你打算编写多进程的服务程序，Unix/Linux⽆疑是正确的选择。由于Windows没有fork调⽤，难道在Windows上⽆法⽤Python编写多进程的程序？        由于Python是跨平台的，⾃然也应该提供⼀个跨平台的多进程⽀持。        multiprocessing模块就是跨平台版本的多进程模块。        multipr...
31 Python 多进程-multiprocessing
忧桑的小兔子
01-15 4743
详细介绍了操作系统中的进程，Python中GIL对线程的限制以及Python与多进程。另外还介绍了Python中多进程编程模块-multiprocessing的使用，其中包括multiprocessing中每个类，函数的详细介绍，使用示例等。
并发编程（九）使用多进程multiprocessing加速程序运行
qq_42546127的博客
03-23 1421
文章目录为什么要使用多进程？多进程multiprocessing使用方法（对比多线程Threading）代码实战：单线程、多线程、多进程对比CPU密集计算速度 为什么要使用多进程？ 有了多线程threading，为什么还要使用多进程multiprocessing 如果遇到CPU密集型计算，多线程反而会降低执行速度！ 虽然有全局解释器锁GIL，但是因为有IO的存在，多线程依然可以加速运行。 CPU密集型计算，线程的自动切换反而变成了负担，多线程甚至减慢了运行速度。 为了解决上面这个问题。
多进程 (multiprocessing)
既然选择了远方 便只顾风雨兼程 - 永强
03-06 1057
多进程 (multiprocessing) 十分感谢廖雪峰老师的分享 (https://www.liaoxuefeng.com/)。 Unix/Linux 操作系统提供了一个 fork() 系统调用。普通的函数调用，调用一次，返回一次。fork() 调用一次，返回两次。操作系统自动把当前进程 (称为父进程) 复制了一份 (称为子进程)，分别在父进程和子进程内返回。 子进程永远返回 0，而父进程返回...
multiprocessing.Process.run() 和 multiprocessing.Process.start() 区别
最新发布
06-07
`multiprocessing.Process.start()` 方法用于启动一个新的进程，该方法会自动调用 `multiprocessing.Process.run()` 方法来执行进程的任务。而 `multiprocessing.Process.run()` 方法则是用于执行实际的进程任务的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值