Python 进程池Pool中的apply方法与apply_async的区别

Python的multiprocessing模块提供了Pool进程池,包括multiprocessing.Pool和multiprocessing.dummy.Pool。Pool的apply方法是阻塞的,会等待当前进程执行完成再执行下一个,而apply_async是非阻塞的,允许进程并行执行。GIL锁使得multiprocessing.Pool在多进程执行时并非真正的并行,通常使用multiprocessing.dummy.Pool实现线程池来达到多任务并行的效果。
摘要由CSDN通过智能技术生成

Pool进程池

multiprocessing中有两个Pool类

1. multiprocessing.Pool (进程池)

2. multiprocessinf.dummy.Pool(伪进程池<线程池>)

因为Python在多进程执行中存在一个python解释器的历史遗留问题就是 GIL锁导致python解释器运行多进程任务时有且只有一个进程在执行而非是多个进程同步执行,可以说multiprocessing.Pool是假的多进程而multiprocessing.dummy.Pool是伪多进程的多线程所以一般使用多进程Pool使用multiprocessing.dummy.Pool模块的

apply(阻塞)

apply()方法:就是只有当当前进程执行完成,才执行下面的进程

from multiprocessing.dummy import Pool
import time
import os

def talk(msg):
    print('msg:',msg)
    time.sleep(3)
    print('end')

if __name__ == "__main__":
    print('开始执行程序:')
    start_time = time.time()
    pool = Poo
`pool.apply_async()` 是 Python `multiprocessing` 模块一个方法,用于向进程提交异步任务。 其语法如下: ```python apply_async(func[, args[, kwds[, callback[, error_callback]]]]) ``` 其,`func` 是要执行的任务函数,`args` 是要传入任务函数的参数,`kwds` 是要传入任务函数的关键字参数。`callback` 是任务执行完成后要调用的回调函数,`error_callback` 是任务执行发生错误时要调用的回调函数。 `apply_async()` 方法会立即返回一个 `AsyncResult` 对象,这个对象可以用来获取任务执行的结果或者等待任务执行完成。可以使用 `get()` 方法来获取任务的结果,或者使用 `wait()` 方法等待任务执行完成。 下面是一个使用 `pool.apply_async()` 方法的示例代码: ```python import multiprocessing def worker(num): """子进程执行的任务""" result = num * 2 return result if __name__ == '__main__': # 创建进程 pool = multiprocessing.Pool() # 提交任务到进程 results = [] for i in range(5): result = pool.apply_async(worker, args=(i,)) results.append(result) # 关闭进程 pool.close() # 等待所有进程完成任务 pool.join() # 输出结果 for result in results: print(result.get()) ``` 在这个示例,首先创建了一个进程 `pool`,然后使用 `apply_async()` 方法进程提交任务,每个任务都会调用 `worker()` 函数,计算结果并返回。在提交完所有任务后,关闭进程并等待所有进程完成任务。最后,遍历任务结果并输出。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值