python进程池与线程池

python进程池与线程池

思考

能否无限制的开设进程或者线程?

1.单从技术层面来说，无限开设进程或线程是肯定可以的，并且这样也是最高效的
2.但是，由于硬件的原因，这个是实现不了的(毕竟硬件的发展永远都赶不上软件的发展速度)，因此，就目前而言，肯定是不可以实现无限制开设进程或者线程

简介

池是什么？

• 池是为了在保证计算机硬件安全的情况下提升程序运行效率的工具

进程池:

• 指提前开设好一堆进程，只需要朝池子中提交任务，任务会自动分配给空闲的进程处理，并且池子中的进程创建好后就不会更替

线程池:

• 提前开设好一堆线程，只需要朝池子中提交任务，任务会自动分配给空闲的线程处理，并且池子中的线程创建好了之后就不会更替
  

进程池与线程池基本使用

• python中进程池线程池的使用，有专门的模块来调用（Python标准模块——concurrent.futures）

concurrent.futures 介绍

concurrent.futures模块提供了高度封装的异步调用接口

ThreadPoolExecutor：线程池，提供异步调用

ProcessPoolExecutor：进程池，提供异步调用

基本方法

submit(fn, *args, **kwargs)：异步提交任务

map(func, *iterables, timeout=None, chunksize=1)：取代for循环submit的操作

shutdown(wait=True)：相当于进程池的pool.close()+pool.join()操作
    wait=True，等待池内所有任务执行完毕回收完资源后才继续
    wait=False，立即返回，并不会等待池内的任务执行完毕
    但不管wait参数为何值，整个程序都会等到所有任务执行完毕
    
注意: submit和map必须在shutdown之前

result(timeout=None)：取得结果

add_done_callback(fn)：回调函数

done()：判断某一个线程是否完成

cancle()：取消某个任务

使用示例

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import time, os


# 创建进程池与线程池
# pool = ThreadPoolExecutor(5)  # 可以自定义线程数 也可以采用默认策略  默认是cpu核数
pool = ProcessPoolExecutor(5)  # 可以自定义进程程数 也可以采用默认策略


# 定义一个任务
def task(n):
    print(n, os.getpid())
    time.sleep(2)
    return '>>>:%s' % n ** 2

# 定义一个回调函数:异步提交完之后有结果自动调用该函数
def call_back(a):
    print('异步回调函数:%s' % a.result())



if __name__ == '__main__':
# 方案1
    # obj_list = []     # 解决问题1
    # for i in range(20):
    #     res = pool.submit(task,i)
    #     # print(res.result())   # result()直接放在submit下方，会使异步变同步 问题1
    #     obj_list.append(res)
    #
    # # 等待线程池中所有的任务执行完毕之后 再获取各自任务的结果
    # pool.shutdown()
    # for i in obj_list:
    #     print(i.result())  # 获取任务的执行结果  同步


# 方案二  使用add_done_callback回调函数
    for i in range(20):
        res = pool.submit(task, i).add_done_callback(call_back)  # 异步提交,此方法不能配合shutdown使用

        
"""
同步:提交完任务之后原地等待任务的返回结果 期间不做任何事
异步:提交完任务之后不愿地等待任务的返回结果 结果由异步回调机制自动反馈
"""