一、为什么要使用线程池
多线程的情况下确实可以最大限度发挥多核处理器的计算能力,提高系统的吞吐量和性能。
但是如果随意使用多线程,对系统的性能反而有不利影响。
比如下面的情况:
创建线程是需要时间的,假设线程创建所需时间为T1,线程执行任务时间为T2,线程销毁时间为T3,而往往T1+T3>T2。所以频繁创建和销毁线程也会消耗大量的时间。
如果有任务来了,再去创建线程的话效率比较低。
其次线程也需要占用内存空间,线程池可以管理控制线程,线程是稀缺资源,如果无休止的创建会消耗系统资源,还会降低系统稳定性。
因此,为了避免频繁的创建和销毁线程,让创建的线程进行复用,就有了线程池的概念。
使用线程池可以进行统一分配,方便调优和监控。
线程池里会维护一部分活跃线程,如果有需要,就去线程池里取线程使用,用完即归还到线程池里,免去了创建和销毁线程的开销,且线程池也会线程的数量有一定的限制。
二、线程池的使用
线程池的基类是 concurrent.futures 模块中的 Executor。
Executor 提供了两个子类,即 ThreadPoolExecutor 和 ProcessPoolExecutor。
其中 ThreadPoolExecutor 用于创建线程池,而 ProcessPoolExecutor 用于创建进程池。
如果使用线程池/进程池来管理并发编程,那么只要将相应的 task 函数提交给线程池/进程池,剩下的事情就由线程池/进程池来搞定。
Exectuor 提供了如下常用方法:
- submit
submit(fn, *args, **kwargs)
submit 将 fn 函数提交给线程池。
*args 代表传给 fn 函数的参数。
*kwargs 代表以关键字参数的形式为 fn 函数传入参数。
- map
map(func, *iterables, timeout=None, chunksize=1)
map 函数类似于全局函数 map(func, *iterables),只是该函数将会启动多个线程,以异步方式立即对 iterables 执行 map 处理。
- 关闭线程池。
shutdown(wait=True)
程序将函数提交(submit)给线程池后,subm