python 多进程-进阶-进程池

    如果需要启动大量的子进程，使用进程池批量创建子进程的方式更加常见，因为当被操作对对象数目不大时，可以直接利用multiprocessing中的Process动态生成多个进程，如果数量大，此时就应该使用Pool。

    Pool 可以提供指定数量的进程供用户调用，默认大小是CPU的核数。当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程用来执行该请求；但是如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来处理他，示例：

# -*- coding: utf-8 -*-
# User: jier
# QQ: 2276845534
from multiprocessing import Pool
import os, time, random


def run_task(name):
    print('Task %s (pid = %s) is running...' % (name, os.getpid()))
    time.sleep(random.random() * 3)
    print("Task %s end." % name)


if __name__ == "__main__":
    print('Current process %s.' % os.getpid())
    p = Pool(processes=3)
    for i in range(5):
        p.apply_async(run_task, args=(i, ))
    print("Waiting for all subprocesses done...")
    p.close()
    p.join()
    print('All subprocesses done.')

    代码执行完毕输入结果如下：

Current process 15160.
Waiting for all subprocesses done...
Task 0 (pid = 8392) is running...
Task 1 (pid = 9488) is running...
Task 2 (pid = 22604) is running...
Task 0 end.
Task 3 (pid = 8392) is running...
Task 1 end.
Task 4 (pid = 9488) is running...
Task 2 end.
Task 4 end.
Task 3 end.
All subprocesses done.

Process finished with exit code 0

    从上面可以看到，上述进程先创建了容量为3的进程池，依次向进程池中添加了5个任务。从运行结果中可以看到虽然添加了5个任务，但是一开始只运行了三个，而且每次最多运行三个进程。当一个任务结束了，新的任务依次添加进来，任务执行使用的进程依然是原来的进程，可以通过进程的PID看出来。

    PS：Pool对象调用join() 方法会等待所有子进程执行完毕，调用join() 之前必须先调用close()，调用close() 之后就不能继续添加新的process了。