40.python之进程池

进程池

• 进程创建太多会造成资源消耗过大，为了避免出现这种情况，就需要固定进程的数量，此时就需要进程池。
• 可以把进程池当做一个池子，在这个池子里提前创建好一定数量的进程，进程池中的进程会伴随进程池一起被创建。
• 每个实例化对象当使用完成时，都会被内存管家回收，普通的进程也会伴随着创建与关闭的过程，而这样创建和关闭的过程是会消耗一定性能的；但是进程池中的进程经过一次创建后就不会关闭，可以重复使用，这样也就避免了创建与关闭的消耗。
• 进程池中的进程是随着进程池的关闭而关闭。
• 当有任务时，会先判断进程池中是否有空闲的进程（即没有执行任务的进程），若是有，任务会找到空闲进程开始执行；若是没有，进程会在进程池门口等待直到有空闲进程，然后再进入进程池找到进程开始执行。

进程池的创建：multiprocessing的Pool类

用法：

from multiprocessing import Pool
p = Pool(Processcount)

参数：

• Processcount：创建进程的数量

进程池对象常用方法

例1：创建一个进程池

import os
import time
from multiprocessing import Pool

def test(count):
    print(f'count={count},进程号：{os.getpid()}')
    time.sleep(1)

if __name__ == '__main__':
    # 创建一个进程池，里面有3个进程
    p = Pool(3)
    for i in range(9):
        p.apply_async(func=test, args=(i,))

    # 若是不添加这个等待时间，会发现执行程序后并没有打印内容
    # 这是因为创建进程池的语句是主进程执行的，主进程在执行完创建进程池就结束了
    # 此时进程池还未执行完成，而进程池本就是主进程的一部分，进程池也就被关闭了，导致程序没有正常运行
    # 添加一个等待时间，这个时间是主进程执行的，这样可以让主进程保持执行的状态，而进程池也可以在此时执行了
    time.sleep(5)

结果：

• 可以看出来有3个进程，且3个进程同时执行，最后的间隔时间是设置的等待5s
  

例2：
前面的例1中，使用了time等待使进程池中的进程有时间去完成请求，除了这种方式外，还可以使用close和join的方法来使进程池中的进程正常执行
要注意使用join方法前要先使用close，不然会报错

import os
import time
from multiprocessing import Pool

def test(count):
    print(f'count={count},进程号：{os.getpid()}')
    time.sleep(1)

if __name__ == '__main__':
    start_time = time.time()
    # 创建一个进程池，里面有3个进程
    p = Pool(3)
    for i in range(9):
        p.apply_async(func=test, args=(i,))

    # 先关闭进程池,关闭后不再接受新请求
    p.close()
    # 等待进程池任务结束
    p.join()
    print(f'间隔时间：{time.time() - start_time}')

结果：

• 可以看出，这里的时间间隔是3s多，不使用强制等待主进程，而是先关闭进程池再等待进程池中的进程执行结束后再关闭主线程
  

例3：
使用apply_async创建的进程池中的进程，可以获取函数的返回值，使用get函数获取函数的返回值，并且无需设置close和join也会正常打印
而创建的普通进程，通过进程模块执行的函数无法获取返回值

import os
import time
from multiprocessing import Pool

def test(count):
    print(f'count={count},进程号：{os.getpid()}')
    time.sleep(1)
    return '返回值：count=%s,进程号=%s' % (count, os.getpid())

if __name__ == '__main__':
    start_time = time.time()
    # 创建一个进程池，里面有3个进程
    p = Pool(3)
    data = []
    for i in range(9):
        r = p.apply_async(func=test, args=(i,))
        data.append(r)

    # 打印函数返回值
    for j in data:
        print(j.get())
    
    print(f'间隔时间：{time.time() - start_time}')

结果：

• 根据结果可以看出，打印出了函数的返回值