当需要创建的子进程数量不多时,可以直接利用 multiprocessing 中的 Process 动态生成多个进程, 但是如果是上百甚至上千个目标,手动的去创建的进程的工作量巨大,此时就可以用到 multiprocessing 模块提供的 Pool 方法。也就是进程池。
初始化 Pool 时,需要指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求,但是如果进程池中的进程已经达到指定的最大值,那么该请求 就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。
进程池语法:
from mutiprocessing import Pool
po = Pool(num) #创建一个进程池
po.apply_async() 使用进程池中的进程处理任务
po.close() 关闭进程池,不再接受新的请求
po.join() 令主进程等待子进程的执行
代码实现:
import multiprocessing
import os
import time
def worker(msg):
start_time = time.time()
print(msg,f'开始运行,线程号{os.getpid()}')
time.sleep(2)
stop_time = time.time()
print(msg, f'结束运行,所用时间{stop_time-start_time}')
def main():
#新建进程池
pool = multiprocessing.Pool(3)
for i in range(10):
#开始执行任务
pool.apply_async(worker,args=(i,))
#关闭线程池,线程池不接接受新的任务
#主进程阻塞,子进程不会结束
print('主进程开始执行')
pool.close()
pool.join()
if __name__ == '__main__':
main()