一文搞懂线程池原理——Executor框架详解

文章后续于https://github.com/zgkaii/CS-Study-Notes更新，欢迎批评指正！

1 使用线程池的好处

在 HotSpot VM 的线程模型中，Java 线程被一对一映射为内核线程。Java 在使用线程执行程序时，需要创建一个内核线程；当该 Java 线程被终止时，这个内核线程也会被回收。因此 Java 线程的创建与销毁将会消耗一定的计算机资源，从而增加系统的性能开销。

除此之外，大量创建线程同样也会给系统带来性能问题，因为内存和 CPU 资源都将被线程抢占，如果处理不当，就会发生内存溢出、CPU 使用率超负荷等问题。

为了解决上述两类问题，Java 提供了线程池概念，对于频繁创建线程的业务场景，线程池可以创建固定的线程数量，并且在操作系统底层，轻量级进程将会把这些线程映射到内核。

这里借用《Java 并发编程的艺术》提到的来说一下使用线程池的好处：

• 降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。
• 提高响应速度。当任务到达时，任务可以不需要的等到线程创建就能立即执行。
• 提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。

2 Executor 框架

Java并发编程中，操作系统会调度所有线程并将它们分配给可用的CPU。 在上层，Java多线程程序通常把应用分解为若干个任务，然后使用用户级的调度器（Executor框架）将这些任务映射为固定数量的线程；在底层，操作系统内核将这些线程映射到硬件处理器上。

从图中可以看出，应用程序通过Executor框架控制上层的调度； 而下层的调度由操作系统内核控制，下层的调度不受应用程序的控 制。

2.1 Executor 框架结构

Executor框架主要由3大部分组成如下：

• 任务。包括被执行任务需要实现的接口：Runnable接口或Callable接口。
  • Runnable接口和Callable接口的实现类，都可以被ThreadPoolExecutor或ScheduledThreadPoolExecutor执行.
• 任务的执行。包括任务执行机制的核心接口Executor，以及继承自Executor的 ExecutorService接口。Executor框架有两个关键类实现了ExecutorService接口 （ThreadPoolExecutor和ScheduledThreadPoolExecutor）。
  • Executor是一个接口，它是Executor框架的基础，它将任务的提交与任务的执行分离开来。
  • ScheduledThreadPoolExecutor 用来定时执行任务； ThreadPoolExecutor 用来执行被提交的任务。

• 异步计算的结果。包括接口Future和 实现Future接口的FutureTask类。
  • 把 Runnable接口 或 Callable 接口 的实现类提交给 ThreadPoolExecutor 或 ScheduledThreadPoolExecutor 执行。（调用 submit() 方法时会返回一个 FutureTask 对象）

2.2 Executor 框架使用示意图

（1）主线程首先要创建实现Runnable或者Callable接口的任务对象。工具类Executors可以把 一个Runnable对象封装为一个Callable对象（Executors.callable(Runnable task)或 Executors.callable(Runnable task，Object resule)）。

（2）然后可以把Runnable对象直接交给ExecutorService执行 （ExecutorService.execute(Runnable command)）；或者也可以把Runnable对象或Callable 对象提交给ExecutorService执行（Executor-Service.submit(Runnable task)或 ExecutorService.submit(Callabletask)）。

（3）如果执行 ExecutorService.submit(...)，ExecutorService 将返回一个实现Future接口的对象。由于 FutureTask 实现了Runnable，我们也可以创建 FutureTask，然后直接交给 ExecutorService 执行。

（4）最后，主线程可以执行 FutureTask.get()方法来等待任务执行完成。主线程也可以执行 FutureTask.cancel(boolean mayInterruptIfRunning)来取消此任务的执行。

2.3 Executor 框架成员

这里先了解一下Executor框架的主要成员：Executor、ExecutorService、Future接口、Runnable接口、Callable接口和工具类Executors。至于核心实现类ThreadPoolExecutor、 ScheduledThreadPoolExecutor稍后讲解。

2.3.1 Executor 与 ExecutorService

线程池从功能上看，Executor 就是一个任务执行器。它只有一个方法：void execute(Runnable command);，用来执行可运行的任务。

ExecutorService接口重要方法：

重要方法	说明
void execute(Runnable command);	执行可运行的任务
void shutdown();	关闭线程池 停止接收新任务，原来的任务继续执行
List<Runnable> shutdownNow();	立即关闭 停止接收新任务，原来的任务停止执行
Future<?> submit(Runnable task);	提交任务; 允许获取执行结果
<T> Future<T> submit(Runnable task, T result);	提交任务（指定结果）; 控制|获取执行结果
<T> Future<T> submit(Callable<T> task);	提交任务; 允许控制任务和获取执行结果
boolean awaitTermination(timeOut, unit);	阻塞当前线程，返回是否线程都执行完

需要注意submit()与 execute()方法区别：

比较	submit()	execute()
有无返回值	有返回值，用 Future 封装 根据返回值能判断任务是否被线程池成功执行	无返回值 无法判断任务是否被成功线程池执行
能否捕获异常	可在主线程中 get 捕获到	不能捕获

2.3.2 Future接口

Future接口和实现Future接口的FutureTask类用来表示异步计算的结果。当我们把 Runnable接口或Callable接口的实现类提交（submit）给ThreadPoolExecutor或 ScheduledThreadPoolExecutor时，ThreadPoolExecutor或ScheduledThreadPoolExecutor会向我们返回一个FutureTask对象。下面是对应的API。

<T> Future<T> submit(Callable<T> task)
<T> Future<T> submit(Runnable task, T result)
Future<> submit(Runnable task)

到目前最新的JDK 8为止，Java通过上述API返回的是一个 FutureTask对象。但从API可以看到，Java仅仅保证返回的是一个实现了Future接口的对象。

2.3.3 Runnable接口和Callable接口

Runnable接口和Callable接口的实现类，都可以被ThreadPoolExecutor或ScheduledThreadPoolExecutor执行。它们之间的区别是Runnable不会返回结果，而Callable可以返回结果。

除了可以自己创建实现Callable接口的对象外，还可以使用工厂类Executors来把一个 Runnable包装成一个Callable。 下面是Executors提供的，把一个Runnable包装成一个Callable的API。

public static Callable<Object> callable(Runnable task) // 假设返回对象Callable1

下面是Executors提供的，把一个Runnable和一个待返回的结果包装成一个Callable的 API。

public static <T> Callable<T> callable(Runnable task, T result) // 假设返回对象Callable2

当我们把一个Callable对象（比如上面的Callable1或Callable2）提交给 ThreadPoolExecutor或ScheduledThreadPoolExecutor执行时，submit()会向我们返回一 个FutureTask对象。我们可以执行FutureTask.get()方法来等待任务执行完成。当任务成功完 成后FutureTask.get()将返回该任务的结果。例如，如果提交的是对象Callable1， FutureTask.get()方法将返回null；如果提交的是对象Callable2，FutureTask.get()方法将返回 result对象。

2.3.4 Executors创建线程池

在java.util.concurrent.Executors线程工厂类里面提供了一些静态工厂，实现了以下五种类型的 ThreadPoolExecutor：

类型	特性
newSingleThreadExecutor	创建一个单线程的线程池。这个线程池只有一个线程在工作，也就是相当于单线程串行执行所有任务。如果这个唯一的线程因为异常结束，那么会有一个新的线程来替代它。此线程池保证所有任务的执行顺序按照任务的提交顺序执行。
newFixedThreadPool	创建固定大小的线程池。每次提交一个任务就创建一个线程，直到线程达到线程池的最大大小。线程池的大小一旦达到最大值就会保持不变，如果某个线程因为执行异常而结束，那么线程池会补充一个新线程
newCachedThreadPool	创建一个可缓存的线程池。如果线程池的大小超过了处理任务所需要的线程，那么就会回收部分空闲（60秒不执行任务）的线程，当任务数增加时，此线程池又可以智能的添加新线程来处理任务。
newScheduledThreadPool	创建一个大小无限的线程池，此线程池支持定时以及周期性执行任务的需求。
newWorkStealingPool()	Java 8 才加入这个线程池，其内部会构建ForkJoinPool，利用Work-Stealing算法，并行地处理任务，不保证处理顺序。

在生产环境下的实际场景中，一般不太推荐使用它们。因为选择使用 Executors 提供的工厂类实现的五种线程池，将会忽略很多线程池的参数设置，工厂类一旦选择设置默认参数，就很容易导致无法调优参数设置，从而产生性能问题或者资源浪费。这里建议使用 ThreadPoolExecutor 自我定制一套线程池。

3 ThreadPoolExecutor 详解

3.1 线程池状态转换

线程池实现类 ThreadPoolExecutor 是 Executor 框架最核心的类。在了解线程池参数之前，我们先来了解一下线程池状态转换。查看ThreadPoolExecutor源码，发现定义有如下几类状态：

    // runState is stored in the high-order bits
    private static final int RUNNING    = -1 << COUNT_BITS;
    private static final int SHUTDOWN   =  0 << COUNT_BITS;
    private static final int STOP       =  1 << COUNT_BITS;
    private static final int TIDYING    =  2 << COUNT_BITS;
    private static final int TERMINATED =  3 << COUNT_BITS;

也就是说，线程池有一下5种状态：

• RUNNING：运行状态，指可以接受任务执行队列里的任务，以及对已添加的任务进行处理。
  • 线程池被一旦被创建，就处于RUNNING状态，并且线程池中的任务数为0！
• SHUTDOWN：指调用了 shutdown() 方法，不再接受新任务了，但是队列里的任务得执行完毕。
• STOP：指调用了 shutdownNow() 方法，不再接受新任务，同时抛弃阻塞队列里的所有任务并中断所有正在执行任务。
  • 调用线程池的shutdownNow()时，线程池由(RUNNING or SHUTDOWN ) -> STOP。
• TIDYING：当所有的任务已执行完毕或终止，ctl记录的”任务数量”为0，线程池会变为TIDYING状态。在调用 shudown()/shutdownNow() 中都会尝试更新为这个状态。
  • 当线程池在SHUTDOWN状态下，阻塞队列为空并且线程池中执行的任务也为空时，就会由 SHUTDOWN -> TIDYING。当线程池在STOP状态下，线程池中执行的任务为空时，就会由STOP -> TIDYING。。
• TERMINATED：终止状态，当执行 terminated() 后会更新为这个状态。