60.Python进阶_进程池01

当需要创建的子进程不多时，我们可以利用multiprocessing中的Process动态生成多个进程，但是如果是上百甚至是上千个目标，手动去创建进程的工作量巨大，并且每次进程创建和销毁占用内存较大，此时可以使用multiprocessing模块提供的Pool方法；

初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池中还没有满，就会创建一个新的进程来执行该请求，但是如果池中的进程数已经达到指定的最大值，那么请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务；

Pool的常用方法：

import time
import os

def work1():
    for i in range(10):
        print(F'work1正在执行-----{os.getpid()}----')
        time.sleep(0.1)


#创建一个进程池，池中有五个进程
po = Pool(5)
po.apply_async(work1)
po.close()   #关闭进程池，不能在接受新任务
po.join()  #等待子进程

print(F'主进程执行-----{os.getpid()}')
`

运行报错，陷入死循环，就和之前的问题一样，需要创建在__main__函数下

再改进一下使用__main__函数执行：

from multiprocessing import Pool
import time
import os

def work1():
    for i in range(10):
        print(F'work1正在第{i}次执行-----{os.getpid()}----')
        time.sleep(0.1)
def work2():
    for i in range(10):
        print(F'work2正在第{i}次执行-----{os.getpid()}----')
        time.sleep(0.1)


#创建一个进程池，池中有五个进程
if __name__ == '__main__':

    po = Pool(5)
    for i in range(10):
        po.apply_async(work1)
    for i in range(10):
        po.apply_async(work2)
    po.close()  #关闭进程池，不能在接受新任务
    po.join()  #等待子进程

print(F'主进程执行-----{os.getpid()}')

运行结果：

主进程执行-----9976
主进程执行-----2340
主进程执行-----2012
work1正在第0次执行-----9976----
主进程执行-----84
主进程执行-----1200
work1正在第0次执行-----2340----
work1正在第0次执行-----2012----
work1正在第0次执行-----1200----
work1正在第0次执行-----84----
work1正在第1次执行-----9976----
work1正在第1次执行-----2340----
work1正在第1次执行-----2012----work1正在第1次执行-----84----
work1正在第1次执行-----1200----

work1正在第2次执行-----9976----
work1正在第2次执行-----2340----
work1正在第2次执行-----1200----work1正在第2次执行-----2012----work1正在第2次执行-----84----


work1正在第3次执行-----9976----
work1正在第3次执行-----2340----
work1正在第3次执行-----2012----work1正在第3次执行-----84----work1正在第3次执行-----1200----


work1正在第4次执行-----9976----
work1正在第4次执行-----2340----
work1正在第4次执行-----2012----
work1正在第4次执行-----84----work1正在第4次执行-----1200----

work1正在第5次执行-----9976----
work1正在第5次执行-----2340----
work1正在第5次执行-----2012----work1正在第5次执行-----1200----
work1正在第5次执行-----84----

work1正在第6次执行-----9976----
work1正在第6次执行-----2340----
work1正在第6次执行-----84----
work1正在第6次执行-----1200----
work1正在第6次执行-----2012----
work1正在第7次执行-----9976----
work1正在第7次执行-----2340----
work1正在第7次执行-----1200----work1正在第7次执行-----84----work1正在第7次执行-----2012----


work1正在第8次执行-----9976----
work1正在第8次执行-----2340----
work1正在第8次执行-----84----
work1正在第8次执行-----2012----work1正在第8次执行-----1200----

work1正在第9次执行-----9976----
work1正在第9次执行-----2340----
work1正在第9次执行-----1200----work1正在第9次执行-----84----

work1正在第9次执行-----2012----
work1正在第0次执行-----9976----
work1正在第0次执行-----2340----
work1正在第0次执行-----2012----
work1正在第0次执行-----84----
work1正在第0次执行-----1200----
work1正在第1次执行-----9976----
work1正在第1次执行-----2340----
work1正在第1次执行-----2012----work1正在第1次执行-----1200----

work1正在第1次执行-----84----
work1正在第2次执行-----9976----
work1正在第2次执行-----2340----
work1正在第2次执行-----1200----work1正在第2次执行-----2012----
work1正在第2次执行-----84----

work1正在第3次执行-----9976----
work1正在第3次执行-----2340----
work1正在第3次执行-----84----work1正在第3次执行-----2012----
work1正在第3次执行-----1200----

work1正在第4次执行-----9976----
work1正在第4次执行-----2340----
work1正在第4次执行-----1200----work1正在第4次执行-----2012----
work1正在第4次执行-----84----

work1正在第5次执行-----9976----
work1正在第5次执行-----2340----
work1正在第5次执行-----1200----
work1正在第5次执行-----84----work1正在第5次执行-----2012----

work1正在第6次执行-----9976----
work1正在第6次执行-----2340----
work1正在第6次执行-----2012----work1正在第6次执行-----1200----work1正在第6次执行-----84----


work1正在第7次执行-----9976----
work1正在第7次执行-----2340----
work1正在第7次执行-----1200----
work1正在第7次执行-----84----
work1正在第7次执行-----2012----
work1正在第8次执行-----9976----
work1正在第8次执行-----2340----
work1正在第8次执行-----84----
work1正在第8次执行-----1200----work1正在第8次执行-----2012----

work1正在第9次执行-----9976----
work1正在第9次执行-----2340----
work1正在第9次执行-----2012----
work1正在第9次执行-----1200----work1正在第9次执行-----84----

work2正在第0次执行-----9976----
work2正在第0次执行-----2340----
work2正在第0次执行-----1200----
work2正在第0次执行-----2012----
work2正在第0次执行-----84----
work2正在第1次执行-----9976----
work2正在第1次执行-----2340----
work2正在第1次执行-----1200----work2正在第1次执行-----84----
work2正在第1次执行-----2012----

work2正在第2次执行-----9976----
work2正在第2次执行-----2340----
work2正在第2次执行-----1200----work2正在第2次执行-----84----work2正在第2次执行-----2012----


work2正在第3次执行-----9976----
work2正在第3次执行-----2340----
work2正在第3次执行-----1200----work2正在第3次执行-----2012----work2正在第3次执行-----84----


work2正在第4次执行-----9976----
work2正在第4次执行-----2340----
work2正在第4次执行-----84----
work2正在第4次执行-----2012----work2正在第4次执行-----1200----

work2正在第5次执行-----9976----
work2正在第5次执行-----2340----
work2正在第5次执行-----1200----work2正在第5次执行-----84----work2正在第5次执行-----2012----


work2正在第6次执行-----9976----
work2正在第6次执行-----2340----
work2正在第6次执行-----1200----work2正在第6次执行-----2012----work2正在第6次执行-----84----


work2正在第7次执行-----9976----
work2正在第7次执行-----2340----
work2正在第7次执行-----84----work2正在第7次执行-----2012----
work2正在第7次执行-----1200----

work2正在第8次执行-----9976----
work2正在第8次执行-----2340----
work2正在第8次执行-----1200----work2正在第8次执行-----2012----
work2正在第8次执行-----84----

work2正在第9次执行-----9976----
work2正在第9次执行-----2340----
work2正在第9次执行-----1200----work2正在第9次执行-----84----work2正在第9次执行-----2012----


work2正在第0次执行-----9976----
work2正在第0次执行-----2340----
work2正在第0次执行-----2012----
work2正在第0次执行-----84----
work2正在第0次执行-----1200----
work2正在第1次执行-----9976----
work2正在第1次执行-----2340----
work2正在第1次执行-----84----
work2正在第1次执行-----1200----work2正在第1次执行-----2012----

work2正在第2次执行-----9976----
work2正在第2次执行-----2340----
work2正在第2次执行-----1200----work2正在第2次执行-----2012----

work2正在第2次执行-----84----
work2正在第3次执行-----9976----
work2正在第3次执行-----2340----
work2正在第3次执行-----2012----work2正在第3次执行-----1200----work2正在第3次执行-----84----


work2正在第4次执行-----9976----
work2正在第4次执行-----2340----
work2正在第4次执行-----84----
work2正在第4次执行-----2012----work2正在第4次执行-----1200----

work2正在第5次执行-----9976----
work2正在第5次执行-----2340----
work2正在第5次执行-----1200----work2正在第5次执行-----2012----work2正在第5次执行-----84----


work2正在第6次执行-----9976----
work2正在第6次执行-----2340----
work2正在第6次执行-----84----work2正在第6次执行-----1200----

work2正在第6次执行-----2012----
work2正在第7次执行-----9976----
work2正在第7次执行-----2340----
work2正在第7次执行-----1200----work2正在第7次执行-----84----
work2正在第7次执行-----2012----

work2正在第8次执行-----9976----
work2正在第8次执行-----2340----
work2正在第8次执行-----2012----
work2正在第8次执行-----84----work2正在第8次执行-----1200----

work2正在第9次执行-----9976----
work2正在第9次执行-----2340----
work2正在第9次执行-----2012----
work2正在第9次执行-----84----work2正在第9次执行-----1200----

主进程执行-----9440

Process finished with exit code 0