python队列线程池_Python线程池之ThreadPoolExecutor详解

1、什么是线程池

线程池的基本思想是一种对象池，在程序启动时就开辟一块内存空间，里面存放了众多(未死亡)的线程，池中线程执行调度由池管理器来处理。当有线程任务时，从池中取一个，执行完成后线程对象归池，这样可以避免反复创建线程对象所带来的性能开销，节省了系统的资源。

2、使用线程池的好处

减少了创建和销毁线程的次数，每个工作线程都可以被重复利用，可执行多个任务。

运用线程池能有效的控制线程最大并发数，可以根据系统的承受能力，调整线程池中工作线线程的数目，防止因为消耗过多的内存，而把服务器累趴下(每个线程需要大约1MB内存，线程开的越多，消耗的内存也就越大，最后死机)。

对线程进行一些简单的管理，比如：延时执行、定时循环执行的策略等，运用线程池都能进行很好的实现

3、线程池的主要组件

一个线程池包括以下四个基本组成部分：

1. 线程池管理器(ThreadPool)：用于创建并管理线程池，包括 创建线程池，销毁线程池，添加新任务；

2. 工作线程(WorkThread)：线程池中线程，在没有任务时处于等待状态，可以循环的执行任务；

3. 任务接口(Task)：每个任务必须实现的接口，以供工作线程调度任务的执行，它主要规定了任务的入口，任务执行完后的收尾工作，任务的执行状态等；

4. 任务队列(taskQueue)：用于存放没有处理的任务。提供一种缓冲机制。

4. Python多线程(进程)管理模块之ThreadPoolExecutor，ProcessPoolExecutor

在concurrent.future模块中有ThreadPoolExecutor和ProcessPoolExecutor两个类，这两个类内部维护着线程/进程池，以及要执行的任务队列，使得操作变得非常简单，不需要关心任何实现细节

来看一个简单的例子

```python

#!/usr/bin/env python3.6

from concurrent.futures import ThreadPoolExecutor

import requests

import os

DEST_DIR = os.path.join(os.path.dirname(os.path.abspath(__file__)), "download")

BASE_URL = "http://flupy.org/data/flags"

CC_LIST = ("CN", "US", "JP", "EG")

if not os.path.exists(DEST_DIR):

os.mkdir(DEST_DIR)

def get_img(cc):

url = "{}/{cc}/{cc}.gif".format(BASE_URL, cc=cc.lower())

response = requests.get(url)