Python进程池Pool的使用

1.进程池Pool

需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。

请看下面的实例：

import multiprocessing
import time

def copy_work():
    print("拷贝中....",multiprocessing.current_process().pid)
    time.sleep(0.3)

if __name__ == '__main__':
    # 创建进程池, Pool(3) 表示创建容量为3个进程的进程池
    pool = multiprocessing.Pool(3)

    for i in range(10):
        # 利用进程池同步拷贝文件，进程池中的进程会必须等上一个进程退出才能执行下一个进程
        # pool.apply(copy_work)
        pool.apply_async(copy_work)

    pool.close()
    # 注意：如果使用异步方式执行copy_work任务，主线程不再等待子线程执行完毕再退出！
    pool.join()

同步方式：pool.apply() 运行结果: