进程池 python_Python进程池

在python中启动进程是非常耗资源的，有了进程池就可以限制同一时刻运行的进程数，避免程序崩溃。

Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来它。

进程池使用如下：

from multiprocessing import Process, Pool,freeze_support

import time

import os

def Foo(i):

time.sleep(2)

print("in process",os.getpid())

return i + 100

def Bar(arg):

print('-->exec done:', arg,os.getpid())

if __name__ == '__main__':

#freeze_support()

pool = Pool(processes=3) #允许进程池同时放入3个进程

print("主进程",os.getpid())

for i in range(10):

pool.apply_async(func=Foo, args=(i,), callback=Bar) #callback=回调 进程执行完毕后由父进程调用

#pool.apply(func=Foo, args=(i,)) #串行

#pool.apply_async(func=Foo, args=(i,)) #并行

print('end')

pool.close()

pool.join() #进程池中进程执行完毕后再关闭，如果注释，那么程序直接关闭。.join()

运行结果：

主进程 12376

end

in process 8664

-->exec done: 100 12376

in process 13008

-->exec done: 101 12376

in process 11812

-->exec done: 102 12376

in process 8664

-->exec done: 103 12376

in process 13008

-->exec done: 104 12376

in process 11812

-->exec done: 105 12376

in process 8664

-->exec done: 106 12376

in process 13008

-->exec done: 107 12376

in process 11812

-->exec done: 108 12376

in process 8664

-->exec done: 109 12376

利用multiprocessing下的Pool可以很方便的同时自动处理几百或者上千个并行操作，脚本的复杂性也大大降低。