java并发-ThreadPoolExecutor

最新推荐文章于 2022-07-10 15:46:02 发布

矛始

最新推荐文章于 2022-07-10 15:46:02 发布

阅读量7k

点赞数 1

分类专栏： java

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/czmacd/article/details/103261299

版权

java 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

线程池，使用池中某线程来执行提交的任务，通常使用Executors的工厂方法来生成

线程池解决两个问题：

当有大量异步任务时，使用线程池可以减少了每个任务的调用开销，所以提供了比较好的性能
它们还提供了绑定和管理资源的方法，包括执行任务集合时消耗的线程。每个ThreadPoolExecutor还维护一些基本统计信息，比如已完成任务的数量。

状态变量

RUNNING：接受新任务并且处理阻塞队列里的任务
SHUTDOWN：拒绝新任务但是处理阻塞队列里的任务
STOP：拒绝新任务并且抛弃阻塞队列里的任务同时会中断正在处理的任务
TIDYING：所有任务都执行完（包含阻塞队列里面任务）当前线程池活动线程为0，将要调用terminated方法
TERMINATED：终止状态。terminated方法调用完成以后的状态

几个关联属性

当线程池小于corePoolSize时，新提交任务将创建一个新线程执行任务，即使此时线程池中存在空闲线程。
当线程池达到corePoolSize时，新提交任务将被放入workQueue中，等待线程池中任务调度执行
当workQueue已满(无边界的队列永远不会满)，且maximumPoolSize>corePoolSize时，新提交任务会创建新线程执行任务
当提交任务数超过maximumPoolSize时，新提交任务由RejectedExecutionHandler处理
当线程池中超过corePoolSize线程，空闲时间达到keepAliveTime时，关闭空闲线程
当设置allowCoreThreadTimeOut(true)时，线程池中线程数量小于corePoolSize(即全为core线程)，core线程空闲时间达到keepAliveTime也将关闭(体现在getTask()方法中timed的判断)

其它属性

ctl：高3位来表示线程池运行状态，低29位来表示worker数量。(最多可以表示2^29-1:536870911)。
CAPACITY：即worker最大容量,536870911
largestPoolSize：记录线程池达到过的最大数量
workers：worker集合，一个worker表示为一个线程
completedTaskCount：线程池中已经terminate的线程所完成的任务总数，线程池任务完成总数=completedTaskCount+没terminate的worker.completedTasks
mainLock：访问workers集合或者做一些记帐(任务统计)时需要用到的锁

核心方法

execute

向线程池中提交一个任务，可能会创建新线程执行该任务，或者使用线程池中已有的线程执行。如果线程池已经shutdown或者任务队列已经达到最大容量，那么会执行拒绝策略(默认为AbortPolicy)

        int c = ctl.get();
        if (workerCountOf(c) < corePoolSize) {  //1. core线程数<corePoolSize时，创建core线程来执行新任务(command)
            if (addWorker(command, true))
                return;
            c = ctl.get();
        }
        if (isRunning(c) && workQueue.offer(command)) {  //2.core线程数>=corePoolSize时，如果线程池正在运行，并成功将任务添加到工作队列中(有界队列与无界队列将产生不同的逻辑)
            int recheck = ctl.get();
            if (! isRunning(recheck) && remove(command))
                reject(command);
            else if (workerCountOf(recheck) == 0)
                addWorker(null, false);
        }
        else if (!addWorker(command, false)) //3.core线程数>=corePoolSize时，且新任务添加到工作队列失败(已满)，则尝试创建新线程执行任务，如果worker数量>=maximumPoolSize，则失败拒绝任务
            reject(command);

addWorker

根据当前线程池状态以及线程数量与边界(corePoolSize或maximumPoolSize)的比较来判断是否允许创建worker，如果满足条件，先调整worker数量，然后创建worker并执行任务。

   private boolean addWorker(Runnable firstTask, boolean core) {
        retry:
        for (;;) {
            int c = ctl.get();
            int rs = runStateOf(c);

            // Check if queue empty only if necessary.
            if (rs >= SHUTDOWN &&  //当线程池状态>=SHUTDOWN时，只有一种情况可以添加任务成功：状态=SHUTDOWN，且添加的是一个空任务(firstTask=null),且队列不为空
                ! (rs == SHUTDOWN &&
                   firstTask == null &&
                   ! workQueue.isEmpty()))
                return false;

            for (;;) {
                int wc = workerCountOf(c);
                if (wc >= CAPACITY ||
                    wc >= (core ? corePoolSize : maximumPoolSize))  //线程数据到达上限，不允许添加
                    return false;
                if (compareAndIncrementWorkerCount(c))  //线程数量未到上限，线程计数+1
                    break retry;
                c = ctl.get();  // Re-read ctl
                if (runStateOf(c) != rs)
                    continue retry;
                // else CAS failed due to workerCount change; retry inner loop
            }
        }

        /**创建新线程并添加到workers中**/
        boolean workerStarted = false;
        boolean workerAdded = false;
        Worker w = null;
        try {
            w = new Worker(firstTask);
            final Thread t = w.thread;
            if (t != null) {
                final ReentrantLock mainLock = this.mainLock;
                mainLock.lock();   //访问workers需要持有mainLock锁
                try {
                    // Recheck while holding lock.
                    // Back out on ThreadFactory failure or if
                    // shut down before lock acquired.
                    int rs = runStateOf(ctl.get());

                    if (rs < SHUTDOWN ||
                        (rs == SHUTDOWN && firstTask == null)) {
                        if (t.isAlive()) // precheck that t is startable
                            throw new IllegalThreadStateException();
                        workers.add(w);
                        int s = workers.size();
                        if (s > largestPoolSize)
                            largestPoolSize = s;  //修正largestPoolSize
                        workerAdded = true;
                    }
                } finally {
                    mainLock.unlock();
                }
                if (workerAdded) {
                    t.start();  //启动worker线程
                    workerStarted = true;
                }
            }
        } finally {
            if (! workerStarted)  //如果添加或启动worker失败，需要把work从workers中移除，减去线程数量，检查终止
                addWorkerFailed(w);
        }
        return workerStarted;
    }

tryTerminate

尝试过渡到TERMINATED状态，当符合两种情况：1.SHUTDOWN状态时，且线程池和队列都为空 2.STOP状态时，线程池为空
如果符合TERMINATED条件，但worker数量不为0时，调用interrupt()中断一个空闲的worker(阻塞等待任务的线程)
当某些行为会导致termination时，需要调用该方法：1.少worker数量 2.在SHUTDOWN的时候，从队列中删除任务

 final void tryTerminate() {
        for (;;) {
            int c = ctl.get();
            if (isRunning(c) ||   //  <SHUTDOWN，运行中不需要尝试终止
                runStateAtLeast(c, TIDYING) ||   //>=TIDYING，已终止不需要再尝试终止
                (runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))   //SHUTDOWN状态且队列中任务不为空，不尝试终止，把剩余任务执行完
                return;
            if (workerCountOf(c) != 0) { // Eligible to terminate
                interruptIdleWorkers(ONLY_ONE);
                return;
            }

            final ReentrantLock mainLock = this.mainLock;
            mainLock.lock();
            try {
                if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) { //CAS
                    try {
                        terminated();
                    } finally {
                        ctl.set(ctlOf(TERMINATED, 0));
                        termination.signalAll();
                    }
                    return;
                }
            } finally {
                mainLock.unlock();
            }
            // CAS失败则重试
        }
    }

runWorker

worker主循环，不断从队列中获取task并执行。

如果Worker初始化时设置了firstTask，则先执行该任务，否则通过getTask()方法从线程池的队列中获取任务
worker在获取到任务开始执行任务之前获取锁，避免worker正在运行的时候被中断，通过互斥锁将worker分为两类，运行中(正在执行任务)和阻塞中(等待任务)，每当中断worker的时候都要先获取到互斥锁
在执行每个任务之前会先调用beforeExecute方法，一个空实现的方法子类可以进行覆盖，该方法如果抛出异常，会造成线程死亡并断中worker主循环，此时completedAbruptly=true，在processWorkerExit中将会重新调整worker数量
开始执行任务，将处理任务可能产生的异常、错误，封装并传递给afterExecute

  final void runWorker(Worker w) {
        Thread wt = Thread.currentThread();
        Runnable task = w.firstTask;
        w.firstTask = null;
        w.unlock(); // allow interrupts
        boolean completedAbruptly = true;
        try {
            while (task != null || (task = getTask()) != null) { //主循环，不停阻塞地从队列中获取任务
                w.lock();
                // If pool is stopping, ensure thread is interrupted;
                // if not, ensure thread is not interrupted.  This
                // requires a recheck in second case to deal with
                // shutdownNow race while clearing interrupt
                if ((runStateAtLeast(ctl.get(), STOP) ||
                     (Thread.interrupted() &&
                      runStateAtLeast(ctl.get(), STOP))) &&
                    !wt.isInterrupted())       //如果线程池STOP了，那么将worker线程中断
                    wt.interrupt();
                try {
                    beforeExecute(wt, task);   //每个任务执行交调用该方法，子类可扩展
                    Throwable thrown = null;
                    try {
                        task.run();           //真正执行任务逻辑
                    } catch (RuntimeException x) {    
                        thrown = x; throw x;
                    } catch (Error x) {
                        thrown = x; throw x;
                    } catch (Throwable x) { 
                        thrown = x; throw new Error(x);  //run方法内不能抛Throwable，包装成Error
                    } finally {
                        afterExecute(task, thrown);
                    }
                } finally {
                    task = null;
                    w.completedTasks++;  //worker自身对完成任务数的统计
                    w.unlock();
                }
            }
            completedAbruptly = false;  //运行到该处，表示worker是正常退出而不是因为异常退出
        } finally {
            processWorkerExit(w, completedAbruptly);  //worker退出的后续处理，如果是异常退出，线程已死，需要对worker数量更新
        }
    }

processWorkerExit

做一些worker退出后的清理工作：调整worker数量，任务完成数统计，尝试终止线程池，创建代替的worker

  private void processWorkerExit(Worker w, boolean completedAbruptly) {
        if (completedAbruptly) //  线程异常终止需要调整worker数量，否则在正常的情况下，getTask()中会以线程池状态和workQueue数量为依据判断是否需要decrementWorkerCount()
            decrementWorkerCount();

        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            completedTaskCount += w.completedTasks;  //将该worker的完成任务数累计到整个线程池的完成任务数
            workers.remove(w);   //移除worker
        } finally {
            mainLock.unlock();
        }

        tryTerminate();  //尝试终止线程池

        int c = ctl.get();
        if (runStateLessThan(c, STOP)) {  //线程池未STOP
            if (!completedAbruptly) {  //正常退出
                int min = allowCoreThreadTimeOut ? 0 : corePoolSize; // min表示线程池中允许的最小线程数，如果allowCoreThreadTimeOut=false，最小线程数=corePoolSize
                if (min == 0 && ! workQueue.isEmpty())  //allowCoreThreadTimeOut=true且workQueue不为空，最小线程数不能为0，min=1至少有一个线程执行队列中的任务
                    min = 1;
                if (workerCountOf(c) >= min)  // 如果worker数量大于等于最小线程数，则不用创建新的worker代替死掉的worker
                    return; // replacement not needed
            }
            addWorker(null, false); //创建新的worker代替死掉的worker
        }
    }

getTask

阻塞等待任务，如果判断到worker需要退出，则会返回null，有如下几种情况：

worker数量超过maximumPoolSize
线程池已经停止
线程池SHUTDOWN且队列为空
等待任务超时的worker会被结束(allowCoreThreadTimeOut=true时所有worker都会超时，否则worker数量>corePoolSize时才判断超时)，如果任务队列不为空，那么被结束的的worker肯定不是池中最后一个(总得要有worker执行任务，体现在wc > 1 || workQueue.isEmpty())

	private Runnable getTask() {  
		boolean timedOut = false; // 是否上一次从阻塞队列中获取任务超时

		for (;;) {
			int c = ctl.get();
			int rs = runStateOf(c);

			// 如果流程池处于SHUTDOWN且任务队列为空  或者 线程池状态>=STOP，worker可以退出
			if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {  // rs==SHUTDOWN && workQueue.isEmpty() || rs>=STOP，这样写好理解？
				decrementWorkerCount();
				return null;  //返回null时，runWorker进入processWorkerExit()
			}

			int wc = workerCountOf(c);

			// Are workers subject to culling?
			 //worker是否有时限，如果allowCoreThreadTimeOut=true，所有worker都会超时，否则超过corePoolSize数量才会才时(即非core线程肯定会超时)
			boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;


            // (线程数>maximumPoolSize 或 等待超时)   并且   (线程数>1 或者 任务队列为空) 时worker可以退出
			if ((wc > maximumPoolSize || (timed && timedOut)) && (wc > 1 || workQueue.isEmpty())) {
				if (compareAndDecrementWorkerCount(c))
					return null;
				continue;
			}

			try {
				Runnable r = timed ? workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) : workQueue.take();
				if (r != null)  //获取到任务返回
					return r;
				timedOut = true;  //获取不到任务表示超时，进入下一次for循环，重新会判断worker是否需要退出
			} catch (InterruptedException retry) {
				timedOut = false;
			}
		}
	}

shutdown

关闭线程池，先把状态设置为SHUTDOWN，然后中断空闲的线程，剩下的任务交给正在运行的线程执行，并且不会再接收新的任务，该方法不会等待任务全部执行完成才返回。

	public void shutdown() {
		final ReentrantLock mainLock = this.mainLock;
		mainLock.lock();
		try {
			checkShutdownAccess();
			advanceRunState(SHUTDOWN);  //将线程池状态设置为SHUTDOWN
			interruptIdleWorkers();  //中断所有空闲worker
			onShutdown(); // hook for ScheduledThreadPoolExecutor
		} finally {
			mainLock.unlock();
		}
		tryTerminate();  //尝试终止线程池
	}

shutdownNow

停止所有worker线程，并返回等待执行的任务列表，该方法不会等待所有worker终止之后才返回。

		List<Runnable> tasks;
		final ReentrantLock mainLock = this.mainLock;
		mainLock.lock();
		try {
			checkShutdownAccess();
			advanceRunState(STOP);  //将线程池状态设置为STOP
			tasks = drainQueue();  //清空任务队列
			interruptWorkers();   //中断所有线程，包括运行中和空闲
		} finally {
			mainLock.unlock();
		}
		tryTerminate();  //尝试终止线程池
		return tasks;  //返回未执行的任务

getTaskCount

获取任务总数，包括已经执行的、待执行的、正在执行的，只能得到一个近似值，因为在调用该方法过程中可能发生变化

    public long getTaskCount() {
        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            long n = completedTaskCount;  //已终止的线程执行完成的任务数
            for (Worker w : workers) {  
                n += w.completedTasks;  //未终止的线程执行完成的任务数
                if (w.isLocked())   //正在执行的任务数
                    ++n;
            }
            return n + workQueue.size();  //等待执行的任务数
        } finally {
            mainLock.unlock();
        }
    }

拒绝策略

CallerRunsPolicy：线程池处于RUNNING时，直接在调用线程(调用Exector.executor()方法的线程)执行拒绝的任务
AbortPolicy：抛出RejectedExecutionException异常，默认的拒绝策略
DiscardPolicy：直接丢弃拒绝的任务，什么也不做
DiscardOldestPolicy：线程池处于RUNNING时，丢弃队列头部的任务，并尝试再执行一次被拒绝的任务

java.util.concurrent.Executors提供了一些简便的方法进行线程池的创建，基于ThreadPoolExecutor根据不同的场景构造了几种线程池：FixedThreadPool，CachedThreadPool，SingleThreadExecutor

FixedThreadPool：初始化corePoolSize=maximumPoolSize=nThreads，即线程池中线程数量固定在nThreads，由于全部为core线程且allowCoreThreadTimeOut=false，所以线程即使空闲也不会被回收使用LinkedBlockingQueue作为任务队列，它是无界的，所以要考虑池中的线程数量是否能够及时处理任务，否则任务会一直递增，最后造成内存溢出
CachedThreadPool：初始化corePoolSize=0，maximumPoolSize=Integer.MAX_VALUE，即所有线程均为非core线程且不限线程数量，使用SynchronousQueue作为任务队列，当一个新任务任务提交，如果池中无空闲线程，则创建新线程去执行，当线程空闲时间达到60秒时会被清理回收，所以适合用于并发大且执行时长短的场景
SingleThreadExecutor：初始化corePoolSize=maximumPoolSize=1，线程池中线程数保持1个，即使空闲也不会被回收，但是使用无界队列LinkedBlockingQueue作为任务队列，依然会有内存溢出的风险