python apply_async函数,如何在python多处理池中使用关键字参数apply_async

I'm trying to get to grips with pythons multiprocessing module, specifically the apply_async method of Pool. I'm trying to call a function with arguments and keyword arguments. If I call the function without kwargs it's fine but when I try to add in a keyword argument I get:

TypeError: apply_async() got an unexpected keyword argument 'arg2'

Below is the test code that I'm running

#!/usr/bin/env python

import multiprocessing

from time import sleep

def test(arg1, arg2=1, arg3=2):

sleep(5)

if __name__ == '__main__':

pool = multiprocessing.Pool()

for t in range(1000):

pool.apply_async(test, t, arg2=5)

pool.close()

pool.join()

How can I call the function so that it accepts keyword arguments?

解决方案

Pass the keyword args in a dictionary (and the positional arguments in a tuple):

pool.apply_async(test, (t,), dict(arg2=5))

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
是的,`apply_async`函数的`error_callback`参数使用的回调函数可以接收多个参数值。当一个任务在进程池中执行时出现异常,`error_callback`函数会被调用,并且会传递异常对象以及任务的输入参数给该函数。 具体来说,`error_callback`函数会接收三个参数: 1. `exception`:一个异常对象,表示任务执行过程中出现的异常。 2. `args`:一个元组,包含了任务的输入参数。如果任务的输入参数只有一个,那么`args`就是一个单独的值而不是元组。 3. `kwargs`:一个字典,包含了任务的关键字参数。 下面是一个例子,演示如何在`apply_async`函数使用`error_callback`参数处理多个参数: ```python import multiprocessing def func(x, y): # 模拟一个出现异常的任务 return x / y def handle_error(exc, args, kwargs): print(f"Error occurred while processing {args}: {exc}") if __name__ == "__main__": pool = multiprocessing.Pool(processes=2) result = pool.apply_async(func, args=(10, 0), kwds={"y": 0}, error_callback=handle_error) pool.close() pool.join() ``` 在这个例子中,我们定义了一个`func`函数,它接收两个参数`x`和`y`,并尝试对`x`除以`y`。当`y`等于0时,该函数会出现异常。我们使用`apply_async`函数提交了一个参数为(10, 0)的任务,同时指定了`handle_error`函数作为`error_callback`参数。在`handle_error`函数中,我们打印了任务的输入参数和异常信息。在这个例子中,我们通过使用`args`和`kwargs`参数处理多个参数的情况。 需要注意的是,`error_callback`函数参数顺序是固定的,即`exception`、`args`、`kwargs`。如果你的回调函数需要接收其他参数,可以使用`functools.partial`函数来固定部分参数
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值