一文讲透Python线程池ThreadPoolExecutor！

cancel方法用于取消某个任务,该任务没有放入线程池中才能取消成功

print(task2.cancel())time.sleep(4)print(task1.done())

result方法可以获取task的执行结果

print(task1.result())

执行结果# False

表明task1未执行完成# False

表明task2取消失败，因为已经放入了线程池中

get page 2s finished# get page 3s finished# True

由于在get page 3s finished之后才打印，所以此时task1必然完成了

3

得到task1的任务返回值

* ``ThreadPoolExecutor``构造实例的时候，传入``max_workers``参数来设置线程池中最多能同时运行的线程数目。
* 使用``submit``函数来提交线程需要执行的任务（函数名和参数）到线程池中，并返回该任务的句柄（类似于文件、画图），注意``submit()``不是阻塞的，而是立即返回。
* 通过``submit``函数返回的任务句柄，能够使用``done()``方法判断该任务是否结束。上面的例子可以看出，由于任务有2s的延时，在``task1``提交后立刻判断，``task1``还未完成，而在延时4s之后判断，``task1``就完成了。
* 使用``cancel()``方法可以取消提交的任务，如果任务已经在线程池中运行了，就取消不了。这个例子中，线程池的大小设置为2，任务已经在运行了，所以取消失败。如果改变线程池的大小为1，那么先提交的是``task1`，`task2``还在排队等候，这是时候就可以成功取消。
* 使用`result()`方法可以获取任务的返回值。查看内部代码，发现这个方法是阻塞的。

现在我也找了很多测试的朋友，做了一个分享技术的交流群，共享了很多我们收集的技术文档和视频教程。
如果你不想再体验自学时找不到资源，没人解答问题，坚持几天便放弃的感受
可以加入我们一起交流。而且还有很多在自动化，性能，安全，测试开发等等方面有一定建树的技术大牛
分享他们的经验，还会分享很多直播讲座和技术沙龙
可以免费学习！划重点！开源的！！！
qq群号：110685036【暗号：csdn999】

![](https://img-blog.csdnimg.cn/direct/10b32ebde96f4f3d94b8bd9506c6fddb.png)


## **as\_completed**


上面虽然提供了判断任务是否结束的方法，但是不能在主线程中一直判断啊。有时候我们是得知某个任务结束了，就去获取结果，而不是一直判断每个任务有没有结束。这是就可以使用``as_completed``方法一次取出所有任务的结果。

from concurrent.futures import ThreadPoolExecutor, as_completed

import time

参数times用来模拟网络请求的时间

def get_html(times):

time.sleep(times)
print("get page {}s finished".format(times))
return times

executor = ThreadPoolExecutor(max_workers=2)

urls = [3, 2, 4] # 并不是真的url

all_task = [executor.submit(get_html, (url)) for url in urls]

for future in as_completed(all_task):

data = future.result()
print("in main: get page {}s success".format(data))#

执行结果

get page 2s finished

in main: get page 2s success

get page 3s finished

in main: get page 3s success

get page 4s finished

in main: get page 4s success

``as_completed()``方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，会``yield``这个任务，就能执行for循环下面的语句，然后继续阻塞住，循环到所有的任务结束。从结果也可以看出，**先完成的任务会先通知主线程**。



### **map**


除了上面的``as_completed``方法，还可以使用``executor.map``方法，但是有一点不同。

from concurrent.futures import ThreadPoolExecutor

import time

参数times用来模拟网络请求的时间def get_html(times):

time.sleep(times)
print("get page {}s finished".format(times))
return times

executor = ThreadPoolExecutor(max_workers=2)

urls = [3, 2, 4] # 并不是真的url

for data in executor.map(get_html, urls):

print("in main: get page {}s success".format(data))

执行结果

get page 2s finished

get page 3s finished

in main: get page 3s success

in main: get page 2s success

get page 4s finished

in main: get page 4s success

使用``map``方法，无需提前使用``submit``方法，``map``方法与``python``标准库中的``map``含义相同，都是将序列中的每个元素都执行同一个函数。上面的代码就是对``urls``的每个元素都执行`get_html`函数，并分配各线程池。可以看到执行结果与上面的``as_completed``方法的结果不同，**输出顺序和****`**`**urls**`**`列表的顺序相同**，就算2s的任务先执行完成，也会先打印出3s的任务先完成，再打印2s的任务完成。



### **wait**


``wait``方法可以让主线程阻塞，直到满足设定的要求。

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, FIRST_COMPLETEDimport time

参数times用来模拟网络请求的时间

def get_html(times):

time.sleep(times)
print("get page {}s finished".format(times))
return times

executor = ThreadPoolExecutor(max_workers=2)

urls = [3, 2, 4] # 并不是真的url

all_task = [executor.submit(get_html, (url)) for url in urls]

wait(all_task, return_when=ALL_COMPLETED)print(“main”)

执行结果

get page 2s finished

get page 3s finished

get page 4s finished

main

``wait``方法接收3个参数，等待的任务序列、超时时间以及等待条件。等待条件``return_when``默认为``ALL_COMPLETED``，表明要等待所有的任务都结束。可以看到运行结果中，确实是所有任务都完成了，主线程才打印出``main``。等待条件还可以设置为``FIRST_COMPLETED``，表示第一个任务完成就停止等待。



## 03、源码分析


`cocurrent.future`模块中的``future``的意思是*未来对象*，可以把它理解为**一个在未来完成的操作**，这是异步编程的基础 。在线程池``submit()``之后，返回的就是这个``future``对象，返回的时候任务并没有完成，但会在将来完成。也可以称之为task的返回容器，这个里面会存储task的结果和状态。那``ThreadPoolExecutor``内部是如何操作这个对象的呢？


下面简单介绍``ThreadPoolExecutor``的部分代码：


**1.init方法**



![图片](https://img-blog.csdnimg.cn/img_convert/3c8980cd28569d68093fc95bdb5e627d.jpeg)



``init``方法中主要重要的就是任务队列和线程集合，在其他方法中需要使用到。


**一、Python所有方向的学习路线**

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

![img](https://img-blog.csdnimg.cn/1d40facda2b84990b8e1743f5487d455.png)  
![img](https://img-blog.csdnimg.cn/0fc11d4a31bd431dbf124f67f1749046.png)

**二、Python必备开发工具**

工具都帮大家整理好了，安装就可直接上手！![img](https://img-blog.csdnimg.cn/ff266f529c6a46c4bc28e5f895dec647.gif#pic_center)

**三、最新Python学习笔记**

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

![img](https://img-blog.csdnimg.cn/6d414e9f494742db8bcc3fa312200539.png)

**四、Python视频合集**

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

![img](https://img-blog.csdnimg.cn/a806d9b941c645858c61d161aec43789.png)

**五、实战案例**

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。![img](https://img-blog.csdnimg.cn/a353983317b14d3c8856824a0d6186c1.png)

**六、面试宝典**

![在这里插入图片描述](https://img-blog.csdnimg.cn/97c454a3e5b4439b8600b50011cc8fe4.png)

![在这里插入图片描述](https://img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)

###### **简历模板**![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**