当需要创建的子进程不多时,我们可以利用multiprocessing中的Process动态生成多个进程,但是如果是上百甚至是上千个目标,手动去创建进程的工作量巨大,并且每次进程创建和销毁占用内存较大,此时可以使用multiprocessing模块提供的Pool方法;
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池中还没有满,就会创建一个新的进程来执行该请求,但是如果池中的进程数已经达到指定的最大值,那么请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务;
Pool的常用方法:
import time
import os
def work1():
for i in range(10):
print(F'work1正在执行-----{os.getpid()}----')
time.sleep(0.1)
#创建一个进程池,池中有五个进程
po = Pool(5)
po.apply_async(work1)
po.close() #关闭进程池,不能在接受新任务
po.join() #等待子进程
print(F'主进程执行-----{os.getpid()}')
`
运行报错,陷入死循环,就和之前的问题一样,需要创建在__main__函数下
再改进一下使用__main__函数执行:
from multiprocessing import Pool
import time
import os
def work1():
for i in range(10):
print(F'work1正在第{i}次执行-----{os.getpid()}----')
time.sleep(0.1)
def work2():
for i in range(10):
print(F'work2正在第{i}次执行-----{os.getpid()}----')
time.sleep(0.1)
#创建一个进程池,池中有五个进程
if __name__ == '__main__':
po = Pool(5)
for i in range(10):
po.apply_async(work1)
for i in range(10):
po.apply_async(work2)
po.close() #关闭进程池,不能在接受新任务
po.join() #等待子进程
print(F'主进程执行-----{os.getpid()}')
运行结果:
主进程执行-----9976
主进程执行-----2340
主进程执行-----2012
work1正在第0次执行-----9976----
主进程执行-----84
主进程执行-----1200
work1正在第0次执行-----2340----
work1正在第0次执行-----2012----
work1正在第0次执行-----1200----
work1正在第0次执行-----84----
work1正在第1次执行-----9976----
work1正在第1次执行-----2340----
work1正在第1次执行-----2012----work1正在第1次执行-----84----
work1正在第1次执行-----1200----
work1正在第2次执行-----9976----
work1正在第2次执行-----2340----
work1正在第2次执行-----1200----work1正在第2次执行-----2012----work1正在第2次执行-----84----
work1正在第3次执行-----9976----
work1正在第3次执行-----2340----
work1正在第3次执行-----2012----work1正在第3次执行-----84----work1正在第3次执行-----1200----
work1正在第4次执行-----9976----
work1正在第4次执行-----2340----
work1正在第4次执行-----2012----
work1正在第4次执行-----84----work1正在第4次执行-----1200----
work1正在第5次执行-----9976----
work1正在第5次执行-----2340----
work1正在第5次执行-----2012----work1正在第5次执行-----1200----
work1正在第5次执行-----84----
work1正在第6次执行-----9976----
work1正在第6次执行-----2340----
work1正在第6次执行-----84----
work1正在第6次执行-----1200----
work1正在第6次执行-----2012----
work1正在第7次执行-----9976----
work1正在第7次执行-----2340----
work1正在第7次执行-----1200----work1正在第7次执行-----84----work1正在第7次执行-----2012----
work1正在第8次执行-----9976----
work1正在第8次执行-----2340----
work1正在第8次执行-----84----
work1正在第8次执行-----2012----work1正在第8次执行-----1200----
work1正在第9次执行-----9976----
work1正在第9次执行-----2340----
work1正在第9次执行-----1200----work1正在第9次执行-----84----
work1正在第9次执行-----2012----
work1正在第0次执行-----9976----
work1正在第0次执行-----2340----
work1正在第0次执行-----2012----
work1正在第0次执行-----84----
work1正在第0次执行-----1200----
work1正在第1次执行-----9976----
work1正在第1次执行-----2340----
work1正在第1次执行-----2012----work1正在第1次执行-----1200----
work1正在第1次执行-----84----
work1正在第2次执行-----9976----
work1正在第2次执行-----2340----
work1正在第2次执行-----1200----work1正在第2次执行-----2012----
work1正在第2次执行-----84----
work1正在第3次执行-----9976----
work1正在第3次执行-----2340----
work1正在第3次执行-----84----work1正在第3次执行-----2012----
work1正在第3次执行-----1200----
work1正在第4次执行-----9976----
work1正在第4次执行-----2340----
work1正在第4次执行-----1200----work1正在第4次执行-----2012----
work1正在第4次执行-----84----
work1正在第5次执行-----9976----
work1正在第5次执行-----2340----
work1正在第5次执行-----1200----
work1正在第5次执行-----84----work1正在第5次执行-----2012----
work1正在第6次执行-----9976----
work1正在第6次执行-----2340----
work1正在第6次执行-----2012----work1正在第6次执行-----1200----work1正在第6次执行-----84----
work1正在第7次执行-----9976----
work1正在第7次执行-----2340----
work1正在第7次执行-----1200----
work1正在第7次执行-----84----
work1正在第7次执行-----2012----
work1正在第8次执行-----9976----
work1正在第8次执行-----2340----
work1正在第8次执行-----84----
work1正在第8次执行-----1200----work1正在第8次执行-----2012----
work1正在第9次执行-----9976----
work1正在第9次执行-----2340----
work1正在第9次执行-----2012----
work1正在第9次执行-----1200----work1正在第9次执行-----84----
work2正在第0次执行-----9976----
work2正在第0次执行-----2340----
work2正在第0次执行-----1200----
work2正在第0次执行-----2012----
work2正在第0次执行-----84----
work2正在第1次执行-----9976----
work2正在第1次执行-----2340----
work2正在第1次执行-----1200----work2正在第1次执行-----84----
work2正在第1次执行-----2012----
work2正在第2次执行-----9976----
work2正在第2次执行-----2340----
work2正在第2次执行-----1200----work2正在第2次执行-----84----work2正在第2次执行-----2012----
work2正在第3次执行-----9976----
work2正在第3次执行-----2340----
work2正在第3次执行-----1200----work2正在第3次执行-----2012----work2正在第3次执行-----84----
work2正在第4次执行-----9976----
work2正在第4次执行-----2340----
work2正在第4次执行-----84----
work2正在第4次执行-----2012----work2正在第4次执行-----1200----
work2正在第5次执行-----9976----
work2正在第5次执行-----2340----
work2正在第5次执行-----1200----work2正在第5次执行-----84----work2正在第5次执行-----2012----
work2正在第6次执行-----9976----
work2正在第6次执行-----2340----
work2正在第6次执行-----1200----work2正在第6次执行-----2012----work2正在第6次执行-----84----
work2正在第7次执行-----9976----
work2正在第7次执行-----2340----
work2正在第7次执行-----84----work2正在第7次执行-----2012----
work2正在第7次执行-----1200----
work2正在第8次执行-----9976----
work2正在第8次执行-----2340----
work2正在第8次执行-----1200----work2正在第8次执行-----2012----
work2正在第8次执行-----84----
work2正在第9次执行-----9976----
work2正在第9次执行-----2340----
work2正在第9次执行-----1200----work2正在第9次执行-----84----work2正在第9次执行-----2012----
work2正在第0次执行-----9976----
work2正在第0次执行-----2340----
work2正在第0次执行-----2012----
work2正在第0次执行-----84----
work2正在第0次执行-----1200----
work2正在第1次执行-----9976----
work2正在第1次执行-----2340----
work2正在第1次执行-----84----
work2正在第1次执行-----1200----work2正在第1次执行-----2012----
work2正在第2次执行-----9976----
work2正在第2次执行-----2340----
work2正在第2次执行-----1200----work2正在第2次执行-----2012----
work2正在第2次执行-----84----
work2正在第3次执行-----9976----
work2正在第3次执行-----2340----
work2正在第3次执行-----2012----work2正在第3次执行-----1200----work2正在第3次执行-----84----
work2正在第4次执行-----9976----
work2正在第4次执行-----2340----
work2正在第4次执行-----84----
work2正在第4次执行-----2012----work2正在第4次执行-----1200----
work2正在第5次执行-----9976----
work2正在第5次执行-----2340----
work2正在第5次执行-----1200----work2正在第5次执行-----2012----work2正在第5次执行-----84----
work2正在第6次执行-----9976----
work2正在第6次执行-----2340----
work2正在第6次执行-----84----work2正在第6次执行-----1200----
work2正在第6次执行-----2012----
work2正在第7次执行-----9976----
work2正在第7次执行-----2340----
work2正在第7次执行-----1200----work2正在第7次执行-----84----
work2正在第7次执行-----2012----
work2正在第8次执行-----9976----
work2正在第8次执行-----2340----
work2正在第8次执行-----2012----
work2正在第8次执行-----84----work2正在第8次执行-----1200----
work2正在第9次执行-----9976----
work2正在第9次执行-----2340----
work2正在第9次执行-----2012----
work2正在第9次执行-----84----work2正在第9次执行-----1200----
主进程执行-----9440
Process finished with exit code 0