七、线程池的使用

一、在任务与执行策略之间的隐性耦合

Executor框架可以将任务的提交与任务的执行策略解耦开来。就像许多对 复杂过程的解耦操作那样，这种论断多少有些言过其实了。虽然Executor框架为制定和修改执行策略都提供了相当大的灵活性，但并非所有的任; 务需要明确地指定执行策略，包括：

• 依赖性任务。大多数行为正确的任务都是独立的：它们不依赖于其他任务的执行时序、执 行结果或其他效果。当在线程池中执行独立的任务时，可以随意地改变线程‘池的大小和配置， 这些修改只会对执行性能产生影响。然而，如果提交给线程池的任务需要依赖其他的任务，那 么就隐含地给执行策略带来了约束，此时必须小心地维持这些执行策略以避免产生活跃性问题。
• 使用线程封闭机制的任务。与线程池相比，单线程的Executor能够对并发性做出更强的承 诺。它们能确保任务不会并发地执行，使你能够放宽代码对线程安全的要求。对象可以封闭在 任务线程中，使得在该线程中执行的任务在访问该对象时不需要同步，即使这些资源不是线程 安全的也没有问题。这种情形将在任务与执行策略之间形成隐式的耦合——任务要求其执行所 在的Executor是单线程的如果将Executor从单线程环境改为线程池环境，那么将会失去线程安全性。
• 对响应时间敏感的任务。GUI应用程序对于响应时间是敏感的：如果用户在点击按钮后需 要很长延迟才能得到可见的反馈，那么他们会感到不满。如果将一个运行时间较长的任务提交 到单线程的Executor中，或者将多个运行时间较长的任务提交到一个只包含少量线程的线程池 中，那么将降低由该Executor管理的服务的响应性。
  使用ThreadLocal的任务。ThreadLocal使每个线程都可以拥有某个变量的一个私有“版 本”。然而，只要条件允许，Executor可以自由地重用这些线程。在标准的Executor实现中， 当执行需求较低时将回收空闲线程，而当需求增加时将添加新的线程，并且如果从任务中拋出 了一个未检查异常，那么将用一个新的工作者线程来替代抛出异常的线程。只有当线程本地值 的生命周期受限于任务的生命周期时，在线程池的线程中使用ThreadLocal才有意义，而在线 程池的线程中不应该使用ThreadLocal在任务之间传递值。
  只有当任务都是同类型的并且相互独立时，线程池的性能才能达到最佳。如果将运行时 间较长的与运行时间较短的任务混合在一起，那么除非线程池很大，否则将可能造成“拥塞”。 如果提交的任务依赖于其他任务，那么除非线程池无限大，否则将可能造成死锁。幸运的是， 在基于网络的典型服务器应用程序中——网页服务器、邮件服务器以及文件服务器等，它们的 请求通常都是同类型的并且相互独立的。

在一些任务中，需要拥有或排除某种特定的执行策略。如果某些任务依赖于其他的任务，那么会要求线程池足够大，从而确保他们依赖任务不会被放入等待队列中或被拒绝，而采用线程封闭机制的任务需要串行执行。通过将这些需要写入文档，将来的代码维护人员就不会由于使用了某种不合适的执行策略而破坏安全性或活跃性。

• 线程接死锁

在线程池中，如果任务依赖于其他任务，那么可能产生死锁。在单线程的Executor中，如果一个任务将另一个任务提交到同一个Executor,并且等待这个被提交任务的结果，那么通常 会引发死锁.第二个任务停留在工作队列中，并等待第一个任务完成，而第一个任务又无法完成，因为它在等待第二个任务的完成。在更大的线程池中，如果所有正在执行任务的线程都由 于等待其他仍处于工作队列中的任务而阻塞，那么会发生同样的问题。这种现象被称为线程饥饿死锁(Thread Starvation Deadlock),只要线程池中的任务需要无限期地等待一些必须由池中其他任务才能提供的资源或条件，例如某个任务等待另一不任务的返或行结果，非线程池足够大，否则将发生线程饥饿死锁。

每当提交了一个有依赖性的Executor任务时，需要清除地知道可能出现线程“饥饿”死锁，因此需要在代码或配置Executor的配置文件中记录线程池的大小限制或配置限制。

除了在线程池大小上的显式限制外，还可能由于其他资源上的约束而存在一些隐式限制。 如果应用程序使用一个包含10个连接的JDBC连接池，并且每个任务需要一个数据库连接， 那么线程池就好像只有10个线程，因为当超过10个任务时，新的任务需要等待其他任务释 放连接。

• 运行时间较长的任务

如果任务阻塞的时间过长，那么即使不出现死锁，线程池的响应性也会变得糟糕。执行时 间较长的任务不仅会造成线程池堵塞，甚至还会增加执行时间较短任务的服务时间。如果线程 池中线程的数量远小于在稳定状态下执行时间较长任务的数量，那么到最后可能所有的线程都 会运行这些执行时间较长的任务，从而影响整体的响应性。
有一项技术可以缓解执行时间较长任务造成的影响，即限定任务等待资源的时间，而不要 无限制地等待。在平台类库的大多数可阻塞方法中，都同时定义J限时扣本和无限时版本，例 如 Thread.join、BlockingQueue.put、CountDownLatch.await 以及 Selector.select 等。如果等待 超时，那么可以把任务标识为失败，然后中止任务或者将任务重新放回队列以便随后执行。这 样，无论任务的最终结果是否成功，这种办法都能确保任务总能继续执行下去，并将线程释放 出来以执行一些能更快完成的任务。如果在线程池中总是充满了被阻塞的任务，那么也可能表 明线程池的规模过小。

二、设置线程池的大小

设置线程池的大小线程池的理想大小取决于被提交任务的类型以及所部署系统的特性。在代码中通常不会固
定线程池的大小，而应该通过某柙自置机制来提供，或者根据Runtime.availableProcessors来动计算。

幸运的是，要设置线程池的大小也并不困难，只需要避免“过大”和“过小”这两种极端 情况。如果线程池过大，那么女量的线程将在相对很少的CPU和内存咨源上发生竞争，这不仅 会导致更髙的内存使用量，而且还可能耗尽资源。如果线程池过小，那么将导致许多空闲的处理器无法执行工作，从而降低吞吐率。

要想正确地设置线程池的大小，必须分析计算环境、资源预算和任务的特性。在部署的系统中有多少个CPU?多大的内存？任务是计算密集型、I/O密集型还是二者皆可？它们是否需要像JDBC连接这样的稀缺资源？如果需要执行不同类别的任务，并且它们之间的行为相差很大，那么应该考虑使用多个线程池，从而使每个线程池可以根据各自的工作负载来调整。

对于计算密集型的任务，在拥有N个处理器的系统上，当线程池的大小为N+1时，通常能实现最优的利用率。(即使当计算密集型的线程偶尔由于页缺失故障或者其他原因而暂停时，这个“额外”的线程也能确保CPU的时钟周期不会被浪费。)对于包含I/O操作或者其他阻塞操作的任务，由于线程并不舍一直执行，因此线程池的规模应该更大。要正确地设置线程池的大小，你必须估算出任务的等待时间与计算时间的比值。这种估算不需要很精确，并且可以通过一些分析或监控工具来获得。你还可以通过另一种方法来调节线程池的大小：在某个基准负载下，分别设置不同大小的线程池来运行应用程序，并观察CPU利用率的水平。

给定下列定义：
N = cpu个数
U = cpu使用率，0 <= U <= 1
W = 任务的等待时间
C = 计算的时间
T = 线程池大小
要使处理器达到期望的使用率，线程池的最优大小等于：
T = N*U*(1+W/C)

可以通过Runtime来获得CPU的数目：

int n = Runtime.getRuntime().availableProcessors();

当然，CPU周期并不是唯一影响线程池大小的资源，还包括内存、文件句柄、套接字句柄 和数据库连接等。计算这些资源对线程池的约束条件是更容易的:计算每个任务对该资源的需求 量，然后用该资源的刁；H总量除以每个任务的需求量，所得结果就是线程池大小的上限。
当任务需要某种通过资源池来管理的资源时，例如数据库连接，那么线程池和资源池的大 小将会相互影响。如果每个任务都需要一个数据库连接，那么连接池的大小就限制了线程池的 大小。同样，当线程池中的任务是数据库连接的唯一使用者时，那么线程池的大小又将限制连 接池的大小。

三、配置 ThreadPoolExecutor

ThreadPoolExecutor为一些Executor提供了基本的实现，这些Executor是由Executors中的newCachedThreadPool、newFixedThreadPool和newScheduledThreadExecutor等工厂方法返回的。 ThreadPoolExecutor是一个灵活的、稳定的线程池，允许进行各种定制。
如果默面执行策略不能满足需求，可以通过ThreadPoolExecutor构造函数来实例化一个对象，并根据自己的需求来定制，并且可以参考Executors的源代码来了解默认配置下 的执行策略，然后再以这些执行策略为基础进行修改。ThreadPoolExecutor定义了很多构造函数。

public ThreadPoolExecutor{int corePoolSize,
        int maximumPoolSize, long keepAliveTime,
        TimeUnit unit,
        BlockingQueue<RunnabXe> workQueue,
        ThreadFactory threadFactory,
        RejectedExecutionHandler handler) { ... }

• 线程的创建与销毁

线程池的基本大小（Core Pool Size）、最大大小（Maximum Pool Size）以及存活时间等因素共同负责线程的创建与销毁。基本大小也就是线程池的目标大小，即在没有任务执行时线程池的大小，并且只有在工作队列满了的情况下才会创建超出这个数量的线程。线程池的最大大小表示可同时活动的线程数量的上限。如果某个线程的空闲时间超过了存活时间，那么将被标记为可回收的，并且当线程池的当前大小超过了基本大小时，这个线程将被止。
通过调节线程池的基本大小和存活时间，可以帮助线程池回收空闲线程占有的资源，从而使得这些资源可以用于执行其他工作。（显然，这是一种折衷：回收空闲线程会产生额外的延迟，因为当需求增加时，必须创建新的线程来满足需求。）
newFixedThreadPool工厂方法将线程池的基本大小和最大大小设置为参数中指定的值，而且创建的线程池不会超时。newCachedThreadPool工厂方法将线程池的最大大小设置为Integer.MAX_VALUE,而将基本大小设置为零，并将超时设置为1分钟，这种方法创建出来的线 程池可以被无限扩展，并且当需求降低时会自动收缩。其他形式的线程池可以通过显式的 ThreadPoolExecutor构造函数来构造。

• 管理队列任务

在有限的线程池中会限制可并发执行的任务数量。（单线程的Executor是一种值得注意的特例：它们能确保不会有任务并发执行，因为它们通过线程封闭来实现线程安全性。）
ThreadPoolExecutor允许提供一个BlockingQueue来保存等待执行的任务。基本的任务排队方法有3种：无界队列、有界队列和同步移交（Synchronous Handoff）队列的选择与其他的配置参数有关，例如线程池的大小等。
ewFixedThreadPool和newSingleThreadExecutor在默认情况下将使用一个无界的 LinkedBlockingQueue如果所有工作者线程都处于忙碌状态，那么任务将在队列中等候。如果 任务持续快速地到达，并且超过了线程池处理它们的速度，那么队列将无限制地增加。
一种更稳妥的资源管理策略是使用有界队列，例如ArrayBlockingQueue有界的LinkedBlockingQueue、PriorityBlockingQueue有界队列有助于避免资源耗尽的情况发生，但它又带来了新的问题：当队列填满后，新的任务该怎么办？在使用有界的工作队列时，队列的大小与线程池 的大小必须一起调节。如果线程池较小而队列较大，那么有助于减少内存使用量，降低CPU的 使用率，同时还可以减少上下文切换，但付出的代价是可能会限制吞吐量。
对于非常大的或者无界的线程池，可以通过使用SynchronousQueue来避免任务排队，以 及直接将任务从生产者移交给工作者线程。SynchronousQueue不是一个真正的队列，而是一 种在线程之间进行移交的机制。要将一个元素放入SynchronousQueue中，必须有另一个线程 正在等待接受这个元素。如果没有线程正在等待，并且线程池的当前大小小于最大值，那么 ThreadPoolExecutor将创建一个新的线程，否则根据饱和策略，这个任务将被拒绝。使用直接 移交将更高效，因为任务会直接移交给执行它的线程，而不是被首先放在队列中，然后由工作 者线程从队列中提取该任务。只有当线程池是无界的或者可以拒绝任务时，SynchronousQueue才有实际价值。在newCachedThreadPool工厂方法中就使用了SynchronousQueue。
当使用像 LinkedBlockingQueue 或 ArrayBlockingQueue 这样的 FIFO（先进先出）队列 时，任务的执行顺序与它们的到达顺序相同。如果想进一步控制任务执行顺序，还可以使用 PriorityBlockingQueue,这个队列将根据优先级来安排任务。任务的优先级是通过自然顺序或Comparator （如果任务实现了 Comparable）来定义的。
对于Executor,newCachedThreadPool工厂方法时一种很好的默认选择，他能提供比固定大小的线程池更好的排队性能。当需要限制当前任务的数量以满足资源管理需求时，那么可以选择固定大小的线程池，就像在接受网络客户请求的服务器应用程序中，如果不进行限制，那么很容易发生过载问题。
只有当任务相互独立时，为线程池或工作队列设置界限才是合理的。如果任务之间存在依 赖性，那么有界的线程池或队列就可能导致线程“饥饿”死锁问题。此时应该使用无界的线程 池，例如 newCachedThreadPool。

• 饱和策略

当有界队列被填满后，饱和策略开始发挥作用。ThreadPoolExecutor的饱和策略可以通过调用seLRcjectedExecutionHandler来修改。（如果某个任务被提交到一个已被关闭的Executor 时，也会用到饱和策略。）JDK提供了几种不同的RejectedExecutionHandler实现，每种实现都包含有不同的饱和策略：AbortPolicy、CallerRunsPolicy、DiscardPolicy 和 DiscardOldestPolicy。

• “中止（Abort）”策略是默认的饱和策略，该策略将抛出未检查的RejectedExecutionException。 调用者可以捕获这个异常，然后根据需求编写自己的处理代码。当新提交的任务无法保存到队列中等待执行时，“抛弃（Discard）”策略会悄悄抛弃该任务。“抛弃最旧的（ Discard-Oldest）”策略则会抛弃下一个将被执行的任务，然后尝试重新提交新的任务。（如果工作队列是一个优先队列，那么“抛弃最旧的”策略将导致抛弃优先级最高的任务，因此最好不要将“抛弃最旧的”饱和策略和优先级队列放在一起使用。）
• “调用者运行 Caller-Runs）”策略实现了一种调节机制，该策略既不会抛弃任务，也不会抛出异常，而是将某些任务回退到调用者，从而降低新任务的流量。它不会在线程池的某个线程中执行新提交的任务，而是在一个调用了execute的线程中执行该任务。我们可以将 Webserver示例修改为使用有界队列和“调用者运行”饱和策略，当线程池中的所有线程都被占用，并且工作队列被填满后，下一个任务会在调用execute时在主线程中执行。由于执行任务需要一定的时间，因此主线程至少在一段时间内不能提交任何任务，从而使得工作者线程有时间来处理完正在执行的任务。在这期间，主线程不会调用accept,因此到达的请求将被保存在TCP层的队列中而不是在应用程序的队列中。如持续过载，那么TCP层将最终发现它的请求队列被填满，因此同样会开始抛弃请求。当服务器过载时，这种过载情况会逐渐向外蔓延 开来——从线程池到工作队列到应用程序再到TCP层，最终达到客户端，导致服务器在高负载下实现一种平缓的性能降低。

• 线程工厂

每当线程池需要创建一个线程时，都是通过线程工厂方法来完成 的。默认的线程工厂方法将创建一个新的、非守护的线程，并且不包含特殊的配置信息。通过 指定一个线程工厂方法，可以定制线程池的配置信息。在ThreadFactory中只定义了一个方法 newThread,每当线程池需要创建一个新线程时都会调用这个方法。

public interface ThreadFactory {
    Thread newThread(Runnable r);
}

然而，在许多情况下都需要使用定制的线程工厂方法。例如，你希望为线程池中的线程指 定一个UncaughtExceptionHandler,或者实例化一个定制的Thread类用于执行调试信息的记 录。你还可能希望修改线程的优先级（这通常并不是一个好主意）或者守护 状态（同样，这也不是一个好主意）。或许你只是希望给线程取一个更有意义 的名称，用来解释线程的转储信息和错误日志。

public class MyThreadFactory implements ThreadFactory {

    @Override
    public Thread newThread(Runnable r) {
        Thread t = Executors.defaultThreadFactory().newThread(r);
        t.setDaemon(true);
        return t;
    }
}

• 在调用构造函数后再定制ThreadPooExecutor

调用完ThreadPoolExecutor的构造函数后，仍然可以通过设置函数(Setter)来修改 大多数传递给它的构造函数的参数(例如线程池的基本大小、最大大小、存活时间、线程工 厂以及拒绝执行处理器(Rejected Execution Handler))。如果Executor是通过Executors中 的某个(newSingleThreadExecutor除外)工厂方法创建的，那么可以将结果的类型转换为 ThreadPoolExecutor以访问设置器。

ExecutorService exec = Executors.newCachedThreadPool();
if (exec instanceof ThreadPoolExecutor){
    ((ThreadPoolExecutor) exec).setCorePoolSize(10);
}else{
    throw new AssertionError ("Oops, bad assumption");
}

在Executors中包含一个unconfigurableExecutorService工厂方法，该方法对一个现有 的ExecutorService进行包装，使其只暴露出ExecutorService的方法，因此不能对它进行 配置。newSingleThreadExecutor返回按这种方式封装的ExecutorService,而不是最初的 ThreadPoolExecutoro虽然单线程的Executor实际上被实现为一个只包含唯一线程的线程池， 但它同样确保了不会并发地执行任务。如果在代码中增加单线程Executor的线程池大小，那么 将破坏它的执行语义。
你可以在自己的Executor中使用这项技术以防止执行策略被修改。如果将ExecutorService 暴露给不信任的代码，又不希望对其进行修改，就可以通过unconfigurableExecutorService来 包装它。

四、扩展ThreadPoolExecutor

ThreadPoolExecutor是可扩展的，它提供了几个可以在子类化中改写的方法：beforeExecute、 afterExecute和terminated,这些方法可以用干扩展ThreadPoolExecutor的行为。
在执行任务的线程中将调用beforeExecute和afterExecute等方法，在这些方法中还可以添加日志、计时、监视或统计信息收集的功能。无论任务是从run中正常返回，还是抛出一个异常而返回，afterExecute都会被调用。（如果任务在完成后带有一个Error,那么就不会调用 afterExecuteo）如果beforeExecute抛出一个RuntimeException,那么任务将不被执行，并且 afterExecute也不会被调用。
在线程池完成关闭操作时调用terminated,也就是在所有任务都已经完成并且所有工作者 线程也已经关闭后。terminated可以用来释放Executor在其生命周期里分配的各种资源，此外 还可以执行发送通知、记录日志或者收集finalize统计信息等操作。