python 底层原理processpoolexecutor_Python 并发编程：PoolExecutor 篇

个人笔记，如有疏漏，还请指正。

使用多线程(threading)和多进程(multiprocessing)完成常规的并发需求，在启动的时候 start、join 等步骤不能省，复杂的需要还要用 1-2 个队列。

随着需求越来越复杂，如果没有良好的设计和抽象这部分的功能层次，代码量越多调试的难度就越大。

对于需要并发执行、但是对实时性要求不高的任务，我们可以使用 concurrent.futures 包中的 PoolExecutor 类来实现。

这个包提供了两个执行器：线程池执行器 ThreadPoolExecutor 和进程池执行器 ProcessPoolExecutor，两个执行器提供同样的 API。

池的概念主要目的是为了重用：让线程或进程在生命周期内可以多次使用。它减少了创建创建线程和进程的开销，提高了程序性能。重用不是必须的规则，但它是程序员在应用中使用池的主要原因。

池，只有固定个数的线程/进程，通过 max_workers 指定。

任务通过 executor.submit 提交到 executor 的任务队列，返回一个 future 对象。

Future 是常见的一种并发设计模式。一个Future对象代表了一些尚未就绪(完成)的结果，在「将来」的某个时间就绪了之后就可以获取到这个结果。

任务被调度到各个 workers 中执行。但是要注意，一个任务一旦被执行，在执行完毕前，会一直占用该 worker！

如果 workers 不够用，其他的任务会一直等待！因此 PoolExecutor 不适合实时任务。

import concurrent.futures

import ti