Python实现多进程：Pool类详解

1 引言

multiprocessing是一个用于产生多进程的包，既可以实现本地的多进程，也可以实现远程的多进程。通过使用多个子进程，从而可以绕开Python的全局解释器锁(GIL)。通过使用多进程，我们可以充分利用机器的运算能力。本文将介绍这个包中的Pool类。

2 Pool类

一个Pool对象控制着一个进程池，这个进程池中有很多可执行任务的进程。

class multiprocessing.pool.Pool([processes[, initializer[, initargs[, maxtasksperchild[, context]]]]])

processes是将要使用的进程数。一般我们会先用cpu_count()方法来确定本地有多少个核，然后再决定使用几个核来跑程序,默认取0，这个时候就是使用本地所有的核来跑程序。

maxtasksperchild：工作进程退出之前可以完成的任务数，完成后用一个新的工作进程来替代原进程，来让闲置的资源被释放。maxtasksperchild默认是None，意味着只要Pool存在工作进程就会一直存活。下面是官方文档中关于这个参数的解释：

通常来说，Pool 中的 Worker 进程的生命周期和进程池的工作队列一样长。一些其他系统中（如 Apache, mod_wsgi 等）也可以发现另一种模式，他们会让工作进程在完成一些任务后退出，清理、释放资源，然后启动一个新的进程代替旧的工作进程。 Pool 的 maxtasksperchild 参数给用户提供了这种能力。

一般情况下我们都是只设置processes这一个参数。

2.1 Pool类中的方法列表

2.1.1 五种分派任务的方法

1. apply()
2. apply_async()
3. map(）
4. map_async()
5. imap()

2.1.2 三种管理进程池的方法：

1. close()
2. terminate()
3. join()

2.2 apply(func[, args[, kwds]])方法

apply(func[, args[, kwds]])这个方法只能将一个任务分配个一个进程，如果想要多任务并行，就需要多次调用。

from multiprocessing import Pool, cpu_count
import time

print('CPU核的数量：',cpu_count())

def func1(x1):
    time.sleep(0.1)
    return (x1,x1*x1)

def func2(x1,x2):
    time.sleep(0.1)
    return (x1,x2,x1+x2)
    
begin = time.time()

with Pool(10) as p:
    for i in range(10):
        result = p.apply(func2,(1