PicklingError: Can‘t pickle <type ‘function‘>: attribute....

查了下,原因是python无法使用apply_async传递class function,错误代码如下:

import multiprocessing as mp

class Foo():
    @staticmethod
    def work(self):
        pass

if __name__ == '__main__':   
    pool = mp.Pool()
    foo = Foo()
    pool.apply_async(foo.work)
    pool.close()
    pool.join()

原因是因为 pool 方法使用mp.SimpleQueue 传递任务到工作进程,所以所有传递的参数都必须是picklable的。foo.work是unpicklable的,因为它并没有定义在模块的最上方而是在类的内部。

解决方式方式:apply_async的上方创建一个新的function,apply_async内调用该function,且在这个新的function内部调用foo.work():

def work(foo):
    foo.work()

pool.apply_async(work,args=(foo,))

参考链接:https://pythonpedia.com/en/knowledge-base/8804830/python-multiprocessing-picklingerror–can-t-pickle–type–function–

可以被pickle的类型:https://docs.python.org/3/library/pickle.html#what-can-be-pickled-and-unpickled

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值