python进程池与线程池
思考
能否无限制的开设进程或者线程?
1.单从技术层面来说,无限开设进程或线程是肯定可以的,并且这样也是最高效的
2.但是,由于硬件的原因,这个是实现不了的(毕竟硬件的发展永远都赶不上软件的发展速度),因此,就目前而言,肯定是不可以实现无限制开设进程或者线程
简介
池是什么?
- 池是为了在保证计算机硬件安全的情况下提升程序运行效率的工具
进程池:
- 指提前开设好一堆进程,只需要朝池子中提交任务,任务会自动分配给空闲的进程处理,并且池子中的进程创建好后就不会更替
线程池:
- 提前开设好一堆线程,只需要朝池子中提交任务,任务会自动分配给空闲的线程处理,并且池子中的线程创建好了之后就不会更替
进程池与线程池基本使用
- python中进程池线程池的使用,有专门的模块来调用(Python标准模块——concurrent.futures)
concurrent.futures 介绍
concurrent.futures模块提供了高度封装的异步调用接口
ThreadPoolExecutor:线程池,提供异步调用
ProcessPoolExecutor:进程池,提供异步调用
基本方法
submit(fn, *args, **kwargs):异步提交任务
map(func, *iterables, timeout=None, chunksize=1):取代for循环submit的操作
shutdown(wait=True):相当于进程池的pool.close()+pool.join()操作
wait=True,等待池内所有任务执行完毕回收完资源后才继续
wait=False,立即返回,并不会等待池内的任务执行完毕
但不管wait参数为何值,整个程序都会等到所有任务执行完毕
注意: submit和map必须在shutdown之前
result(timeout=None):取得结果
add_done_callback(fn):回调函数
done():判断某一个线程是否完成
cancle():取消某个任务
使用示例
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import time, os
# 创建进程池与线程池
# pool = ThreadPoolExecutor(5) # 可以自定义线程数 也可以采用默认策略 默认是cpu核数
pool = ProcessPoolExecutor(5) # 可以自定义进程程数 也可以采用默认策略
# 定义一个任务
def task(n):
print(n, os.getpid())
time.sleep(2)
return '>>>:%s' % n ** 2
# 定义一个回调函数:异步提交完之后有结果自动调用该函数
def call_back(a):
print('异步回调函数:%s' % a.result())
if __name__ == '__main__':
# 方案1
# obj_list = [] # 解决问题1
# for i in range(20):
# res = pool.submit(task,i)
# # print(res.result()) # result()直接放在submit下方,会使异步变同步 问题1
# obj_list.append(res)
#
# # 等待线程池中所有的任务执行完毕之后 再获取各自任务的结果
# pool.shutdown()
# for i in obj_list:
# print(i.result()) # 获取任务的执行结果 同步
# 方案二 使用add_done_callback回调函数
for i in range(20):
res = pool.submit(task, i).add_done_callback(call_back) # 异步提交,此方法不能配合shutdown使用
"""
同步:提交完任务之后原地等待任务的返回结果 期间不做任何事
异步:提交完任务之后不愿地等待任务的返回结果 结果由异步回调机制自动反馈
"""