python学习笔记之用进程池实现多进程

用Pool类实现多进程

Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool时，如果池未满，则创建一个新的进程来执行请求，如果池满了，请求就会被告知先等待，直到池中有进程结束，再创建新的进程来执行这些请求。

例子如下：

from multiprocessing import Pool
import os,time

def task(name):
    print('子进程(%s)执行task %s...'% (os.getpid(), name))
    time.sleep(1)


if __name__ == "__main__":
    print('父进程(%s)' % (os.getpid()))
    p = Pool(3)   # 定义一个进程池
    for i in range(10):
        p.apply_async(task,args=(i,))  #使用非阻塞方式调用task()函数
    print('等待所有子进程结束')
    p.close()    # 关闭进程池，关闭后p不再接收新的请求(不再有新进程)
                 # close必须要在close前调用
    p.join()    # 等待子进程结束
    print('子进程结束')

关于apply()和apply_async()

都是用来分配进程执行任务，区别在于  

apply是阻塞的，进入子进程执行后，必须等待当前子进程执行完毕，再继续执行下一个进程

apply_async()是异步非阻塞，不用等待当前进程执行完毕，随时根据系统调度来进行进程切换。

从如下结果可以看出：进程id为6784的子进程执行了4个任务，而其余两个进程6732和3760分别执行了3个任务

Reference

https://www.jianshu.com/p/b1934ff22b06

《Python从入门到项目实践》明日科技