Python Pool类多进程 apply_async 异步变成了阻塞解决方法

出错代码:

if __name__ == '__main__':
    ip_arr=get_ip_list()
    pool=Pool(processes=4)
    for temp in ip_arr:
        res = pool.apply_async(check_ip,(temp,)).get()
        if res :
            ip_list.append(res )
    pool.close()
    pool.join() 
    print(arr)

这段代码运行会发现是阻塞运行的

原因是apply_async后面 get()等待线程运行结束才会下一个

而apply_async刚好又是异步以主程序为主的,所以这段代码实际变成了阻塞

改成:

if __name__ == '__main__':
    ip_arr=get_ip_list()
    pool=Pool(processes=4)
    for temp in ip_arr:
        arr.append(pool.apply_async(check_ip,(temp,)))
    pool.close()
    pool.join() 
    ip_list=[]
    for temp in arr:
        if temp.get():
            ip_list.append(temp.get())
    print(ip_list,len(ip_list))

当然有更好的方法来获取他的返回值,只是这个方法比较方便~

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
`pool.apply_async()` 是 Python `multiprocessing` 模块中的一个方法,用于向进程池中提交异步任务。 其语法如下: ```python apply_async(func[, args[, kwds[, callback[, error_callback]]]]) ``` 其中,`func` 是要执行的任务函数,`args` 是要传入任务函数的参数,`kwds` 是要传入任务函数的关键字参数。`callback` 是任务执行完成后要调用的回调函数,`error_callback` 是任务执行发生错误时要调用的回调函数。 `apply_async()` 方法会立即返回一个 `AsyncResult` 对象,这个对象可以用来获取任务执行的结果或者等待任务执行完成。可以使用 `get()` 方法来获取任务的结果,或者使用 `wait()` 方法等待任务执行完成。 下面是一个使用 `pool.apply_async()` 方法的示例代码: ```python import multiprocessing def worker(num): """子进程要执行的任务""" result = num * 2 return result if __name__ == '__main__': # 创建进程池 pool = multiprocessing.Pool() # 提交任务到进程池中 results = [] for i in range(5): result = pool.apply_async(worker, args=(i,)) results.append(result) # 关闭进程池 pool.close() # 等待所有进程完成任务 pool.join() # 输出结果 for result in results: print(result.get()) ``` 在这个示例中,首先创建了一个进程池 `pool`,然后使用 `apply_async()` 方法向进程池提交任务,每个任务都会调用 `worker()` 函数,计算结果并返回。在提交完所有任务后,关闭进程池并等待所有进程完成任务。最后,遍历任务结果并输出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值