说道juc提供java线程池,想必大家都不陌生,在很多异步场景、任务调度都会使用到它,但是很多人并不太理解线程池的实现原理,就在昨天看到一个在学习线程池的同学遇到了一个问题,通过Executors类的newFixedThreadPool(int nThreads)方法创建了一个固定大小的线程池,最大worker工作线程数量是3,然后创建了一百个任务提交到线程池,运行之后却没有触发默认线程池饱和策略AbortPolicy???答案当然是肯定不会触发了,如果阅读过创建固定线程池的源码肯定就不会这么问了,话不多说,上干货。
合理使用java线程池的好处
第一:降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。
第二:提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。
第三:提高线程的可管理性。线程是稀缺资源,如果无限制地创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一分配、调优和监控。但是,要做到合理利用线程池,必须对其实现原理了如指掌。
线程池的实现原理
当我们向线程池中commit一个任务之后,线程池是如何处理这个任务的呢?
- 线程池首先会判断核心线程池里的线程是否都在执行任务,如果不是,则创建一个新的工作线程。如果核心线程池里的线程都在执行任务,则进入下个流程。
- 线程池判断工作队列是否已经满。如果工作队列没有满,则将新commit的任务存储在这个工作队列里。如果工作队列满了,则进入下个流程。
- 线程池判断线程池里的线程是否都处于工作状态。如果不是,则创建一个新的工作线程来执行任务。如果线程池已经满了,则交给饱和策略来处理这个任务。
图1 线程的主要处理流程
看完上面讲解的线程池处理commit任务的流程之后,相信你已经对线程池的设计有了新的认识和理解,那么接下来重点讲一下JUC里面ThreadPoolExecutor执行execute方法分下面4种情况:
- 如果当前线程池中运行的线程少于corePoolSize,那么创建新线程来执行任务(注意:执行这一步骤需要获取全局锁,保证线程安全)。
- 如果当前线程池中运行的线程等于或多于corePoolSize,则将任务加入BlockingQueue任务队列(阻塞队列)。
- 如果线程池无法将任务加入BlockingQueue,此时队列已满,则需要创建新的线程来处理任务(注意:执行这一步骤需要获取全局锁,保证线程安全)。
- 如果当前运行的线程数超出maximumPoolSize,任务将被拒绝,将会出发线程池饱和策略,调用RejectedExecutionHandler.rejectedExecution()方法。
ThreadPoolExecutor采取上述步骤的总体设计思路,是为了在执行execute()方法时,尽可能地避免获取全局锁(那将会是一个严重的可伸缩瓶颈)。在ThreadPoolExecutor完成预热之后(当前运行的线程数大于等于corePoolSize),几乎所有的execute()方法调用都是执行步骤2,而步骤2不需要获取全局锁。
图2 ThreadPoolExecutor执行示意图
源码分析:上面的流程分析让我们很直观地了解了线程池的工作原理,接下再通过源代码来看看线程池是如何实现的,线程池执行任务的方法如下。
public void execute(Runnable command) {
if (command == null) throw new NullPointerException();
// 如果线程数小于基本线程数,则创建线程并执行当前任务
if (poolSize >= corePoolSize || !addIfUnderCorePoolSize(command)) {
// 如线程数大于等于基本线程数或线程创建失败,则将当前任务放到工作队列中。
if (runState == RUNNING && workQueue.offer(command)) {
if (runState != RUNNING || poolSize == 0)
ensureQueuedTaskHandled(command);
}
// 如果线程池不处于运行中或任务无法放入队列,并且当前线程数量小于最大允许的线程数量,
// 则创建一个线程执行任务。
else if (!addIfUnderMaximumPoolSize(command))
// 抛出RejectedExecutionException异常
reject(command); // is shutdown or saturated
}
}
线程池创建新线程时,会将线程封装成工作线程Worker,在执行完任务后,还会循环获取工作队列里的任务来执行。我们可以从Worker类的run()方法里看到这点(线程池创建新线程执行任务时,会直接交给当前创建的线程处理。任务执行完之后,会反复从任务队列里面获取任务来执行)。
public void run() {
try {
Runnable task = firstTask; firstTask = null;
while (task != null || (task = getTask()) != null) {
runTask(task);
task = null;
}
} finally {
workerDone(this);
}
}
线程池饱和策略
当任务队列和线程池都满了,此时线程池处于饱和状态,那么我们必须采取一种策略处理提交的新任务。默认的线程池饱和策略是AbortPolicy,当无法处理新任务时会直接抛出异常。在JDK 1.5中Java线程池框架提供了以下4种策略:
- AbortPolicy:线程池饱和后,提交任务时直接抛出异常。
- CallerRunsPolicy:新提交的任务将在调用者所在线程来执行。
- DiscardOldestPolicy:丢弃队列里最近的一个任务,并执行当前提交的任务。
- DiscardPolicy:新提交的任务不处理,直接丢弃。
可以根据实际场景来设置不同的饱和策略,不太重要的任务,可以使用默认线程池策略或者不处理。另外任务较多,并且任务处理时间较长,任务队列也会暂用过多内存,也要合理控制。
线程池构造参数详解
这里通过ThreadPoolExecutor的构造方法来手动创建线程池,如果我们想要合理的使用线程池,还是必须要对构造参数了解一下。
- corePoolSize(核心线程池的大小):当向线程池中commit一个任务到时,如果线程池中的线程数小于核心线程池的大小,线程池会创建一个新的线程来执行任务,即使其他的核心线程处于空闲状态,直到需要执行的任务数大于线程池基本大小时就不再创建。如果调用了线程池的prestartAllCoreThreads()方法,线程池在创建的时候会提前创建并启动所有核心线程,称为“线程池预热”。
- runnableTaskQueue(任务队列):用来保存提交的等待执行的任务,该队列采用的是阻塞队列(生产者和消费者模式)。
- ThreadFactory:用来设置创建线程的工厂,通过线程工厂可以给每个创建出来的线程设置名称,方便问题排查。线程工厂的创建推荐使用谷歌开源框架guava框架提供的ThreadFactoryBuilder类,可以快速创建线程工厂对象,示例如下;new ThreadFactoryBuilder().setNameFormat(“XXXX-task-%d”).build();
- keepAliveTime(线程活动保持时间):指的是线程池的worker线程空闲后,保持存活的时间。如果任务相对较多,并且满足每个任务执行的时间较短,适当调大keepAlive时间,可以提高线程的利用率,不会频繁的创建和销毁线程。
- PriorityBlockingQueue:一个具有优先级的无限阻塞队列。3)maximumPoolSize(线程池最大数量):线程池允许创建的最大线程数。如果队列满了,并且已创建的线程数小于最大线程数,则线程池会再创建新的线程执行任务。值得注意的是,如果使用了无界的任务队列这个参数就没什么效果。
线程池构任务队列可选类
- ArrayBlockingQueue:是一个基于数组结构的有界阻塞队列,此队列按FIFO(先进先出)原 则对元素进行排序。
- LinkedBlockingQueue:一个基于链表结构的阻塞队列,此队列按FIFO排序元素,吞吐量通常要高于ArrayBlockingQueue。静态工厂方法Executors.newFixedThreadPool()使用了这个队列
- SynchronousQueue:一个不存储元素的阻塞队列。每个插入操作必须等到另一个线程调用移除操作,否则插入操作一直处于阻塞状态,吞吐量通常要高于Linked-BlockingQueue,静态工厂方法Executors.newCachedThreadPool使用了这个队列。
线程池关闭
可以通过调用线程池的shutdown或shutdownNow方法来关闭线程池。它们的原理是遍历线程池中的工作线程,然后逐个调用线程的interrupt方法来中断线程,所以无法响应中断的任务可能永远无法终止。但是它们存在一定的区别,shutdownNow首先将线程池的状态设置成STOP,然后尝试停止所有的正在执行或暂停任务的线程,并返回等待执行任务的列表,而shutdown只是将线程池的状态设置成SHUTDOWN状态,然后中断所有没有正在执行任务的线 程。
只要调用了这两个关闭方法中的任意一个,isShutdown方法就会返回true。当所有的任务 都已关闭后,才表示线程池关闭成功,这时调用isTerminaed方法会返回true。至于应该调用哪 一种方法来关闭线程池,应该由提交到线程池的任务特性决定,通常调用shutdown方法来关闭 线程池,如果任务不一定要执行完,则可以调用shutdownNow方法。
更多关于线程池的文章,线程池的合理配置和线程池监控将在下一篇文章中讲解,敬请期待…
参考:《Java并发编程的艺术》