python 多进程以及进程池使用简单示例

在利用 Python 进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用 multiprocessing 中的 Process 动态成生多个进程，10 几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，这时候进程池 Pool 发挥作用的时候就到了。
Pool 可以提供指定数量的进程，供用户调用，当有新的请求提交到 pool 中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来它。

这里有一个简单的例子：

from multiprocessing import Pool
from time import sleep
import os

def f(x):
    for i in range(10):
        print('%s --- %s ' % (i, x))
        sleep(1)


def main():
    pool = Pool(processes=3)  # 设置进程数等于3
    for i in range(11, 20):
        result = pool.apply_async(f, (i,))
    pool.close()
    pool.join()
    if result.successful():
        print('successful')


if __name__ == "__main__":
    main()

先创建容量为 3 的进程池，然后将 f(i) 依次传递给它，运行脚本后利用

ps aux | grep pool.py 

查看进程情况，会发现最多只会有三个进程执行。pool.apply_async() 用来向进程池提交目标请求，pool.join() 是用来等待进程池中的 worker 进程执行完毕，防止主进程在 worker 进程结束前结束。但必 pool.join() 必须使用在 pool.close() 或者 pool.terminate() 之后。其中 close() 跟 terminate() 的区别在于 close() 会等待池中的 worker 进程执行结束再关闭 pool ,而 terminate() 则是直接关闭。result.successful() 表示整个调用执行的状态，如果还有 worker 没有执行完，则会抛出 AssertionError 异常。
利用 multiprocessing 下的 Pool 可以很方便的同时自动处理几百或者上千个并行操作，脚本的复杂性也大大降低。

apply()
函数原型：

apply(func[, args=()[, kwds={}]])

该函数用于传递不定参数，主进程会被阻塞直到函数执行结束（不建议使用，并且3.x以后不在出现）。

apply_async()
函数原型：

apply_async(func[, args=()[, kwds={}[, callback=None]]])

与apply用法一样，但它是非阻塞且支持结果返回进行回调。

map()
函数原型：

map(func, iterable[, chunksize=None])

Pool类中的map方法，与内置的map函数用法行为基本一致，它会使进程阻塞直到返回结果。
注意，虽然第二个参数是一个迭代器，但在实际使用中，必须在整个队列都就绪后，程序才会运行子进程。

close()
关闭进程池（pool），使其不在接受新的任务。

terminate()
结束工作进程，不在处理未处理的任务。

join()
主进程阻塞等待子进程的退出，join方法必须在close或terminate之后使用。

参考：https://www.cnblogs.com/huanxiyun/articles/5826902.html