进程池与线程池

目录

进程池与线程池介绍

concurrent.fututres模块

ProcessPoolExecutor 类--进程池

异步提交任务 -- submit方法

result方法

shutdown方法

add_done_callback--- 异步回调机制

ThreadPoolExecutor  类---线程池

进程(线程)池介绍

---

进程(线程)池介绍

实际处理问题的时候会有成千上万个任务需要被执行, 那么在执行多任务时我们需要创建成千上万个进程嘛? 显然是不合理的, 不知道具体的进程数量, 而且会造成很大程度上的资源浪费. 反而会影响了工作效率. 于是就引出了'池'的概念: 定义一个赤字, 在里边放上固定数量的进程, 需求来了就拿池中的进程来处理任务, 等到处理完毕,进程并不关闭吗而是将进程再放回进程池里继续等待任务,. 如果有很多任务需要执行, 而吃力地进程数量不够, 任务就要等待走之前的进程执行任务完毕回来,拿到空闲进程才嫩能继续执行. 即: 池中进程数量是固定的, 同一时间最多有固定数量的进程在运行, 这样不会增加操作系统的调度难度, 还节省了开关进程的时间,一定程度是 能够实现并发效果.v

concurrent.fututres 模块

ProcessPoolExecutor 类–进程池开启
进程池类的导入：from concurrent.fututres import ProcessPoolExecutor

实例化：``pool_p = ProcessPoolExecutor( 整数 ): 实例化获得一个进程池, 参数传入一个整数，代表进程池的大小
>>>> 不传的话会默认开设当前计算机CPU 个数的进程

异步提交任务–submit 方法

pool_p.submit(task,n=i) : task–提交的任务，逗号之后可以按照位置参数或者关键字参数传入task所需的参数;

submit 方法 ：会有一个返回值，返回一个Future对象：<Future at 内存地址 state=...... returned .....>

Future对象会有一个result 方法

from concurrent.futures import ProcessPoolExecutor
import time

pool1 = ProcessPoolExecutor(5)


def task(n):
    print(n)
    time.sleep(2)


if __name__ == '__main__':
    for i in range(5):
        pool1.submit(task, i)

    print('main process')

由结果不难发现submit 方法是异步提交任务

from concurrent.futures import ProcessPoolExecutor
import time

pool1 = ProcessPoolExecutor(5)


def task(n):
    print(n, end=" ")
    time.sleep(1)


if __name__ == '__main__':
    for i in range(20):
        pool1.submit(task, i)

    print('main process')

result 方法

submit 方法返回的Future对象会有一个result 方法

result 方法 会返回**提交的任务最终返回的结果 **

from concurrent.futures import ProcessPoolExecutor
import time

pool1 = ProcessPoolExecutor(5)


def task(n):
    print(n,end=' ')
    time.sleep(1)


if __name__ == '__main__':
    for i in range(5):
        res=pool1.submit(task, i)
        print(res.result())
    print('main process')

 修改提交任务的返回值–验证

from concurrent.futures import ProcessPoolExecutor
import time

pool1 = ProcessPoolExecutor(5)


def task(n):
    print(n,end=' ')
    time.sleep(1)
		return n**2

if __name__ == '__main__':
    for i in range(5):
        res=pool1.submit(task, i)
        print(res.result())
    print('main process')

 如何将所有的任务全部提交运行结束之后，再统一获得结果

shutdown 方法

关闭线程池，等待线程池中所有的任务全部运行结束

if __name__ == '__main__':
  	l = []
    for i in range(10):
        res=pool1.submit(task, i)
        l.append(res)
    
    pool1.shutdown()
    for res in l:
      print('返回值：',res.result())
      
    print('main process')

add_done_callback–异步回调机制

回调机制相当于给每个异步提交的任务绑定了一个"炸弹"，一旦这个异步提交的任务运行到返回结果的时候，就会立刻"爆炸"

from concurrent.futures import ProcessPoolExecutor
import time

pool1 = ProcessPoolExecutor(5)


def task(n):
    print('--调用函数：',n)
    time.sleep(0.5)
    return n ** 2


def call_back(feature):
    print('！！获得函数结果：',feature.result())


if __name__ == '__main__':

    for i in range(10):
        res = pool1.submit(task, i)
        time.sleep(0.2)
        res.add_done_callback(call_back)

注意：对于add_done_callback( callback )传入的函数名callback,在定义callback函数的时候一定要写一个位置参数

这个位置参数会通过add_done_callback( callback )方法自动传入, 而且这个参数就是 调用add_done_callback方法的feature对象

ThreadPoolExecutor类–线程池的开启

方法与属性 与进程池完全一致！！！