线程池源码解析
线程池的作用
一方面当执行大量异步任务时候线程池能够提供较好的性能，在不使用线程池的时候，每当需要执行异步任务时候是直接 new 一线程进行运行，而线程的创建和销毁是需要开销的。使用线程池时候，线程池里面的线程是可复用的，不会每次执行异步任务时候都重新创建和销毁线程。
另一方面线程池提供了一种资源限制和管理的手段，比如可以限制线程的个数，动态新增线程等，每个 ThreadPoolExecutor 也保留了一些基本的统计数据，比如当前线程池完成的任务数目等。
ThreadPoolExecutor源码
首先是我们的内部类
Worker
private final class Worker
extends AbstractQueuedSynchronizer //继承了AQS
implements Runnable //继承了我们的Runnable
{
private static final long serialVersionUID = 6138294804551838833L;
//工作线程，由ThreadFactory来进行创建
final Thread thread;
Runnable firstTask;
//已经完成的任务数
volatile long completedTasks;
//构造函数
Worker(Runnable firstTask) {
setState(-1);
this.firstTask = firstTask;
this.thread = getThreadFactory().newThread(this);
}
//run方法调用runWorker，重点
public void run() {
runWorker(this);
}
}
在我们的线程池中，我们所有的工作线程都会被包装成一个个的Worker节点，并且放入到一个HashSet集合中，代表我们的所有工作线程，
然后来介绍线程池重要的属性
重要属性
//标记线程池状态，同时记录线程个数，默认running，然后线程个数0，高三位用来记录线程池状态，低29位存放线程个数
//直接使用位运算来进行计算，32位的情况下能保证操作的原子性
private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
//个数掩码
private static final int COUNT_BITS = Integer.SIZE - 3;
//线程最大个数，低29位
private static final int CAPACITY = (1 << COUNT_BITS) - 1;
//主锁
private final ReentrantLock mainLock = new ReentrantLock();
//线程池里面的线程
private final HashSet<Worker> workers = new HashSet<Worker>();
//
private final Condition termination = mainLock.newCondition();
上面是我们的重要属性，然后我们讲解我们线程池的状态
线程池状态
//接受新任务，并且处理任务队列中的数据 对应 111
private static final int RUNNING = -1 << COUNT_BITS;
//拒绝新任务但是能能处理任务队列中的数据 对应 000
private static final int SHUTDOWN = 0 << COUNT_BITS;
//拒绝任务，抛弃阻塞队列任务，中断正在处理的任务 001
private static final int STOP = 1 << COUNT_BITS;
//将要调用terminated方法，线程池和任务队列都为空 010
private static final int TIDYING = 2 << COUNT_BITS;
//terminated方法完后进入该状态 011
private static final int TERMINATED = 3 << COUNT_BITS;
线程池总共有5种状态，不同的状态下会影响添加任务与创建线程等的情况
- Running：接受新任务并且能处理任务队列钟的任务
- Shutdown：拒绝新任务但是能处理阻塞队列里的任务
- stop：拒绝新任务，抛弃阻塞队列任务，同时中断正在执行的任务
- Tidying：线程池中活跃的线程数为0，准备开始进行调用terminated()方法
- Terminated：终止状态，彻底终止
这5种状态会互相转化，如图
然后是重点，核心参数，除了那些已经定义好的重要属性外，我们可以自己设置核心参数来帮助我们的线程池更好的运行
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue<Runnable> workQueue,
ThreadFactory threadFactory,
RejectedExecutionHandler handler) {
}
上面这个是我们的构造函数，里面的7个参数就是我们的核心参数了，修改合适的核心参数能大大提升我们的运行效率
然后这个7个参数基本都在我们的属性中
//重要参数，工作队列，用于保存等待执行的阻塞队列，
//1、基于数组的有界队列ArrayBlockingQueue
//2、基于链表的无界队列LinkedBlockingQueue
//3、最多只有一个元素的同步队列SynchronousQueue
//4、优先级队列PriorityBlockingQueue
private final BlockingQueue<Runnable> workQueue;
//创建线程的工厂
private volatile ThreadFactory threadFactory;
//拒绝策略
private volatile RejectedExecutionHandler handler;
//最大生存时间
private volatile long keepAliveTime;
//核心线程数量
private volatile int corePoolSize;
//最大线程数量
private volatile int maximumPoolSize;
//默认拒绝策略，可以看到默认的是丢弃任务并且抛弃异常
private static final RejectedExecutionHandler defaultHandler =
new AbortPolicy();
- coreSize：核心线程数
- maximumPoolSize：最大线程数
- ThreadFactory：用来创建线程的工厂
- RejectExecutionHandler：拒绝策略，主要有AbortPolicy(抛出异常，丢弃)，CallerRunsPolicy(使用调用这所在线程执行)，DiscardOldestPolicy(丢弃最老的那个)，DiscardPolicy(默默丢弃，不通知)
- workQueue：任务队列，主要用来存放任务，主要有基于数组的ArrayBlockingQueue，基于链表的LinkedBlockingQueue，单个元素二点SynchronousQueue，优先级队列PriorityBlockingQueue
- keepAliveTime：存活时间
- TimeUnit：存活时间的单位
上面基本就是我们的线程池的一些参数和属性了，了解了这些才能帮助我们理解我们的线程池
然后来根据属性来看看我们的线程池大概是个什么样的
然后我们来开始看线程池的工作流程
提交任务
当我们提交任务后，会有以下的流程，我们先看文字版，然后对照图片，最后看源码，帮助理解
首先检测线程池运行状态，如果不是RUNNING，则直接拒绝，线程池要保证在RUNNING的状态下执行任务。
如果workerCount < corePoolSize，则创建并启动一个线程来执行新提交的任务。
如果workerCount >= corePoolSize，且线程池内的阻塞队列未满，则将任务添加到该阻塞队列中。
如果workerCount >= corePoolSize && workerCount < maximumPoolSize，且线程池内的阻塞队列已满，则创建并启动一个线程来执行新提交的任务。
如果workerCount >= maximumPoolSize，并且线程池内的阻塞队列已满, 则根据拒绝策略来处理该任务, 默认的处理方式是直接抛异常。
流程图如下
然后来看提交任务的源码
execute()
public void execute(Runnable command) {
//不能提交空任务
if (command == null)
throw new NullPointerException();
//获取到我们的线程ctl，因为包含线程状态以及线程的数量
int c = ctl.get();
//判断线程池个数是否小于corePoolSize，小于就会新建一个核心线程
if (workerCountOf(c) < corePoolSize) {
//添加一个Worker
if (addWorker(command, true))
//直接返回了
return;
//添加失败了，更新我们的ctl
c = ctl.get();
}
//如果线程池处于running并且往工作队列里面添加成功
if (isRunning(c) && workQueue.offer(command)) {
//重新检查
/* **
* 为什么需要进行双重检查？
* 因为在多线程下，ctl方法不是线程安全的，可能会出现获取了以后就改变了
* 所以需要判断加完以后的状态，是不是在加的过程中发生了改变
*/
int recheck = ctl.get();
//如果不是running状态并且删除成功，开始使用拒绝策略来执行，进行回滚
if (! isRunning(recheck) && remove(command))
reject(command);
//说明是running状态，同时线程池个数是空的
else if (workerCountOf(recheck) == 0)
addWorker(null, false);
}
//如果队列是满的，尝试添加一个新的线程进去，
else if (!addWorker(command, false))
//失败的话就会进行拒绝策略
reject(command);
}
然后来看这个里面的几个方法
addWorker
/* **
* 主要负责创建新的线程并执行任务
* 1.判断线程池状态
* 2.通过CAS来是ctl+1，也就是线程数+1
* 3.构造一个Worker，会使用ThreadFactory来new Thread
* 4.执行start，执行worker.run方法，然后由线程不断去执行我们的任务
*/
private boolean addWorker(Runnable firstTask, boolean core) {
//CAS更新线程数量
retry:
for (;;) {
//获取到ctl
int c = ctl.get();
//获取到线程池的状态
int rs = runStateOf(c);
//s >= SHUTDOWN &&
//(rs != SHUTDOWN ||
//firstTask != null ||
//workQueue.isEmpty())
/* **
* 1.当前线程池状态为Stop，Tidying，terminated这些状态
* 2.线程池状态为shutdown并且有了第一个任务
* 3.线程池状态为shutdown并且队列为空
* 这些都会返回false，新增失败
*/
if (rs >= SHUTDOWN &&
! (rs == SHUTDOWN &&
firstTask == null &&
! workQueue.isEmpty()))
return false;
//自旋
for (;;) {
//计算线程数量
int wc = workerCountOf(c);
//如果超过了最大，就会创建失败
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))
return false;
//如果CAS线程数量失败，会重新开始
if (compareAndIncrementWorkerCount(c))
break retry;
//进行双重检查
c = ctl.get(); // Re-read ctl
//如果数量改变了，就会重新开始
if (runStateOf(c) != rs)
continue retry;
}
}
//到这里CAS我们的ctl成功
boolean workerStarted = false;
boolean workerAdded = false;
Worker w = null;
try {
//构建一个worker
w = new Worker(firstTask);
final Thread t = w.thread;
if (t != null) {
//获取到主锁，为了保证workers同步，因为可能多个线程调用了线程池的execute方法
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//获取状态，避免在获取锁之前调用了shutdown方法
int rs = runStateOf(ctl.get());
if (rs < SHUTDOWN ||
(rs == SHUTDOWN && firstTask == null)) {
if (t.isAlive()) // precheck that t is startable
throw new IllegalThreadStateException();
//加入到工作线程中
workers.add(w);
int s = workers.size();
if (s > largestPoolSize)
largestPoolSize = s;
workerAdded = true;
}
} finally {
mainLock.unlock();
}
if (workerAdded) {
//进行启动
t.start();
workerStarted = true;
}
}
} finally {
if (! workerStarted)
addWorkerFailed(w);
}
return workerStarted;
}
在这里会创建并且启动线程，然后因为是包装成了worker，之后会执行我们的Worker.run()方法，所以查看
Worker.run()
//run方法调用runWorker
public void run() {
runWorker(this);
}
//真正执行的方法，主要就是一个while循环，然后一直去拿任务，同时还有一个前置后置的接口
final void runWorker(Worker w) {
//获取到线程
Thread wt = Thread.currentThread();
//获取到第一个任务
Runnable task = w.firstTask;
w.firstTask = null;
//将state设置成了0，这是可以进行中断了
w.unlock(); // allow interrupts
boolean completedAbruptly = true;
try {
//只要不为空，就会一直进行
while (task != null || (task = getTask()) != null) {
w.lock();
if ((runStateAtLeast(ctl.get(), STOP) ||
(Thread.interrupted() &&
runStateAtLeast(ctl.get(), STOP))) &&
!wt.isInterrupted())
wt.interrupt();
try {
beforeExecute(wt, task);
Throwable thrown = null;
try {
task.run();
} catch (RuntimeException x) {
thrown = x; throw x;
} catch (Error x) {
thrown = x; throw x;
} catch (Throwable x) {
thrown = x; throw new Error(x);
} finally {
afterExecute(task, thrown);
}
} finally {
task = null;
w.completedTasks++;
w.unlock();
}
}
completedAbruptly = false;
} finally {
//执行清理任务
processWorkerExit(w, completedAbruptly);
}
}
然后获取任务的方法是getTask()
/* **
* 主要就是获取一个任务，涉及到线程池的状态判断，
* 然后判断线程是否过期
*/
private Runnable getTask() {
boolean timedOut = false; // Did the last poll() time out?
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
// 如果现在是shutdown状态，那么除非queue为空，否则不会返回null
// 如果现在是stop状态，会直接返回null
if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
decrementWorkerCount();
return null;
}
int wc = workerCountOf(c);
boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
//判断如果超过了最大线程数，或者线程过期
if ((wc > maximumPoolSize || (timed && timedOut))
&& (wc > 1 || workQueue.isEmpty())) {
if (compareAndDecrementWorkerCount(c))
return null;
continue;
}
try {
//从队列中获取任务
Runnable r = timed ?
workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
workQueue.take();
if (r != null)
return r;
timedOut = true;
} catch (InterruptedException retry) {
timedOut = false;
}
}
}
reject()
//用于执行拒绝策略
final void reject(Runnable command) {
handler.rejectedExecution(command, this);
}
上面就是我们的线程池添加任务并且创建线程去执行的流程源码了
然后就是我们的关闭线程池了
关闭线程池
主要由shutdown和shutdownNow两种
shutdown只是将线程池的状态设置为SHUTWDOWN状态，正在执行的任务会继续执行下去，没有被执行的则中断。
而shutdownNow则是将线程池的状态设置为STOP，正在执行的任务则被停止，没被执行任务的则返回。
shutdown()
/* **
* 调用线程池后，就不会接受新任务了，但是工作队列里面的任务还是要执行的
*/
public void shutdown() {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//权限检查
checkShutdownAccess();
//设置当前线程池状态为shutdown，如果已经是shutdown的话就直接返回
advanceRunState(SHUTDOWN);
//设置中断标志
interruptIdleWorkers();
onShutdown(); // hook for ScheduledThreadPoolExecutor
} finally {
mainLock.unlock();
}
//尝试将状态变为terminated
tryTerminate();
}
final void tryTerminate() {
//自旋
for (;;) {
//获取到状态
int c = ctl.get();
//判断是不是running状态
if (isRunning(c) ||
//如果是tidying状态
runStateAtLeast(c, TIDYING) ||
//如果是shutdown状态并且工作队列不为空
(runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))
return;
if (workerCountOf(c) != 0) { // Eligible to terminate
interruptIdleWorkers(ONLY_ONE);
return;
}
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) {
try {
terminated();
} finally {
ctl.set(ctlOf(TERMINATED, 0));
termination.signalAll();
}
return;
}
} finally {
mainLock.unlock();
}
// else retry on failed CAS
}
}
//设置中断标志
private void interruptIdleWorkers(boolean onlyOne) {
//获取到锁
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
//遍历所有的工作线程
for (Worker w : workers) {
Thread t = w.thread;
//如果没有进行中断，并且没有正在运行则设置中断
if (!t.isInterrupted() && w.tryLock()) {
try {
t.interrupt();
} catch (SecurityException ignore) {
} finally {
w.unlock();
}
}
if (onlyOne)
break;
}
} finally {
mainLock.unlock();
}
}
两者的主要区别就是设置成的状态不同，一个是设置成shutdown，一个是设置成stop
这里面还有很多细节，然后详细图的话可以看到我的另一篇的动态线程池的博客，这个里面由线程池运行的图，可以帮助理解
6722
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
