JUC并发编程之线程池

1.自定义线程池

在这里插入图片描述

步骤1 自定义拒绝策略接口(实现函数式接口)

// 自定义拒绝策略
@FunctionalInterface
interface RejectPolicy<T> {
    void reject(BlockingQueue<T> queue, T task);
}

步骤2 自定义任务队列

// 自定义任务队列
@Slf4j
class BlockingQueue<T> {
    // 1.任务队列 双端队列
    private Deque<T> queue = new ArrayDeque<>();

    // 2.锁
    private ReentrantLock reentrantLock = new ReentrantLock();

    // 3.生产者条件变量
    private Condition fullwaitSet = reentrantLock.newCondition();

    // 4.消费者条件变量
    private Condition emptywaitSet = reentrantLock.newCondition();

    // 5.容器
    private int capcity;

    public BlockingQueue(int capcity) {
        this.capcity = capcity;
    }

    // 带超时阻塞获取
    public T poll(long timeout, TimeUnit unit) {
        try {
            reentrantLock.lock();
            long nanos = unit.toNanos(timeout);

            while (queue.isEmpty()) {
                try {
                    // 返回值是剩余时间
                    if (nanos <= 0) {
                        return null;
                    }
                    nanos = emptywaitSet.awaitNanos(nanos);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            T t = queue.removeFirst();
            fullwaitSet.signal();
            return t;
        } finally {
            reentrantLock.unlock();
        }

    }

    // 阻塞获取
    public T take() {
        reentrantLock.lock();
        try {
            while (queue.isEmpty()) {
                try {
                    emptywaitSet.await();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            T t = queue.removeFirst();
            fullwaitSet.signal();
            return t;
        } finally {
            reentrantLock.unlock();
        }
    }

    // 阻塞添加
    public void put(T task) {
        reentrantLock.lock();
        try {
            while (queue.size() == capcity) {
                try {
                    log.debug("等待加入任务队列 {} ...", task);
                    fullwaitSet.await();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            log.debug("加入任务队列 {}", task);
            queue.addLast(task);
            emptywaitSet.signal();
        } finally {
            reentrantLock.unlock();
        }
    }

    // 带超时时间的阻塞添加
    public boolean offer(T task, long timeout, TimeUnit timeUnit) {
        reentrantLock.lock();
        try {
            long nanos = timeUnit.toNanos(timeout);
            while (queue.size() == capcity) {
                try {
                    if (nanos <= 0) {
                        return false;
                    }
                    log.debug("等待加入任务队列 {} ....", task);
                    nanos = fullwaitSet.awaitNanos(nanos);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            log.debug("加入任务队列 {}", task);
            queue.addLast(task);
            emptywaitSet.signal();
            return true;
        } finally {
            reentrantLock.unlock();
        }
    }

    public int size() {
        reentrantLock.lock();
        try {
            return queue.size();
        } finally {
            reentrantLock.unlock();
        }
    }

    public void tryPut(RejectPolicy<T> rejectPolicy, T task) {
        reentrantLock.lock();
        try {
            // 判断队列是否满
            if (queue.size() == capcity) {
                rejectPolicy.reject(this, task);
            } else {
                // 有空闲
                log.debug("加入任务队列 {}", task);
                queue.addLast(task);
                emptywaitSet.signal();
            }
        } finally {
            reentrantLock.unlock();
        }
    }
}

步骤3 自定义线程池

@Slf4j
class ThreadPool {
    // 任务队列
    private BlockingQueue<Runnable> taskQueue;

    // 线程集合
    private HashSet<Worker> workers = new HashSet<>();

    // 核心线程数
    private int coreSize;

    // 获取任务时的超时时间
    private long timeout;

    private TimeUnit timeUnit;

    private RejectPolicy<Runnable> rejectPolicy;

    // 执行任务
    public void execute(Runnable task) {
        // 当任务数没有超过 coreSize , 交给worker 对象执行
        // 如果任务数超过 coreSize , 交给任务队列暂存
        synchronized (workers) {
            if (workers.size() < coreSize) {
                Worker worker = new Worker(task);
                log.debug("新增 worker{} , {}", worker, task);
                workers.add(worker);
                worker.start();
            } else {
                // taskQueue.put(task);
                // 1) 死等
                // 2) 带超时等待
                // 3) 让调用者放弃任务执行
                // 4) 让调用者抛出异常
                // 5) 让调用者自己执行任务
                taskQueue.tryPut(rejectPolicy, task);
            }
        }
    }

    public ThreadPool(int coreSize, long timeout, TimeUnit timeUnit, int queueCapcity, RejectPolicy<Runnable> rejectPolicy) {
        this.coreSize = coreSize;
        this.timeout = timeout;
        this.timeUnit = timeUnit;
        this.taskQueue = new BlockingQueue<>(queueCapcity);
        this.rejectPolicy = rejectPolicy;
    }

    class Worker extends Thread {
        private Runnable task;

        public Worker(Runnable task) {
            this.task = task;
        }

        public void run() {
            // 执行任务
            // 1.当task不为空,执行
            // 2.当task为空,再接着从任务队列获取任务并执行
            while (task != null || (task = taskQueue.poll(timeout, timeUnit)) != null) {
                try {
                    log.debug("正在执行 {} ....", task);
                    task.run();
                } catch (Exception e) {
                    e.printStackTrace();
                } finally {
                    task = null;
                }
            }
            synchronized (workers) {
                log.debug("workers 被移除 {}", this);
                workers.remove(this);
            }
        }
    }
}

步骤四 测试

    public static void main(String[] args) {
        ThreadPool threadPool = new ThreadPool(1, 1000, TimeUnit.MILLISECONDS, 1, ((queue, task) -> {
            // 1. 死等
//            queue.put(task);
            // 2) 带超时等待
//            queue.offer(task, 1500, TimeUnit.MILLISECONDS);
            // 3) 让调用者放弃任务执行
//            log.debug("放弃{}", task);
            // 4) 让调用者抛出异常
//            throw new RuntimeException("任务执行失败 " + task);
            // 5) 让调用者自己执行任务
            task.run();
        }));

        for (int i = 0; i < 4; i++) {
            int j = i;
            threadPool.execute(() -> {
                try {
                    Thread.sleep(1000L);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                log.debug("{}", j);
            });
        }
    }

2.ThreadPoolExecutor

在这里插入图片描述

1.线程池状态

ThreadPoolExecutor 使用 int 的高 3 位来表示线程池状态,低 29 位表示线程数量

在这里插入图片描述

从数字上比较,TERMINATEND > TIDYING > STOP > SHUTDOWN > RUNNING

这些信息存储在一个原子变量 ctl 中,目的是将线程池状态与线程个数合二为一,这样就可以用一次 cas 原子操作进行赋值

// c位旧值, ctlof 返回结果为新值
ctl.compareAndSet(c, ctlOf(targetState, workerCountOf(c))))
    
// rs 为高 3 位代表线程池状态, wc 为低 29 位 代表线程个数, ctl 是合并它们
private static int ctlOf(int rs, int wc) { return rs | wc; }

2.构造方法

    public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue,
                              RejectedExecutionHandler handler) {
        this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
             Executors.defaultThreadFactory(), handler);
    }
  • corePoolSize 核心线程数目 (最多保留的线程数)
  • maximumPoolSize 最大线程数目
  • keepAliveTime 生存时间 - 针对救急线程
  • unit 时间单位 - 针对救急线程
  • workQueue 阻塞队列
  • threadFactory 线程工厂 - 可以为线程创建时起个好名字 handler 拒绝策略

工作方式

在这里插入图片描述

  • 线程池中刚开始没有线程,当一个任务提交给线程池后,线程池会创建一个新线程来执行任务

  • 当线程数达到 corePoolSize 并没有线程空闲,这时再加入任务,新加的任务会被加入 workQueue 队列排队,直到有空闲的线程

  • 如果队列选择了有界队列,那么任务超过了队列大小时,会创建 maximumPoolSize - corePoolSize 数目的线程来救急

  • 如果线程到达 maximumPoolSize 仍然有新任务会执行拒绝策略。拒绝策略 jdk 提供了 4 种实现,其它著名框架也提供了实现

    • AbortPolicy 让调用者抛出 RejectedExecutionException 异常,这是默认策略
    • CallerRunsPolicy 让调用者运行任务
    • DiscardPolicy 放弃本次任务
    • DiscardOldestPolicy 放弃队列中最早的任务,本任务取而代之
    • Dubbo 的实现,在抛出 RejectedExecutionException 异常之前会记录日志,并 dump 线程栈信息,方 便定位问题
    • Netty 的实现,是创建一个新线程来执行任务
    • ActiveMQ 的实现,带超时等待(60s)尝试放入队列,类似我们之前自定义的拒绝策略
    • PinPoint 的实现,它使用了一个拒绝策略链,会逐一尝试策略链中每种拒绝策略
  • 当高峰过去,超过corePoolSize的救急线程如果一段时间任务可做,需要结束节省资源,这个时间由 keepAliveTime 和 unit 来控制

在这里插入图片描述

根据这个构造方法,JDK Executors 类种提供了众多工厂方法来创建各种用途的线程池

3. newFixedThreadPool

JDK Executors类中

    public static ExecutorService newFixedThreadPool(int nThreads) {
        return new ThreadPoolExecutor(nThreads, nThreads,
                                      0L, TimeUnit.MILLISECONDS,
                                      new LinkedBlockingQueue<Runnable>());
    }

特点

  • 核心线程 == 最大线程数(没有救急线程被创建),因此也无需超时时间
  • 阻塞队列是无界的,可以放任意数量的任务

创建一个由固定数量线程并在共享无界队列上运行的线程池,在任何时候都最多只有nThreads个线程存在并执行任务。
如果在任务提交时,所有线程都在工作中,则会将该任务放入到队列中等待,直到有可用的线程。如果某个线程在执行过程中出现异常,那么这个线程会终止,并且会有一个新的线程代替它进行后续的工作,线程池中的线程会一直存在直到线程池被明确的停止掉。

  • 适用于任务量已知,相对耗时的任务

4. newCachedThreadPool

    public static ExecutorService newCachedThreadPool() {
        return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
                                      60L, TimeUnit.SECONDS,
                                      new SynchronousQueue<Runnable>());
    }

特点:

  • 核心线程数是0,最大线程数是Integer.MAX_VALUE,救急线程的空闲生存时间是60s,意味着
    • 全部都是救急线程(60s后可以回收)
    • 救急线程可以无限创建
  • 队列采用了 SynchronousQueue 实现特点是,他没有容量,没有线程来取是放不进去的

通过该方法会创建一个线程池,当你执行一个任务,并且线程池中不存在可用的已构造好的线程时,它就会创建一个新线程,否则它会优先复用已有的线程,当线程未被使用时,默认 6 秒后被移除。这些线程池可以很明显的提升那些短期存活的异步任务的执行效率

import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.SynchronousQueue;

import static com.lv.juc.util.Sleeper.sleep;

/**
 * @author 晓风残月Lx
 * @date 2023/3/28 12:58
 */
@Slf4j
public class ThreadPoolTest2 {

    public static void main(String[] args) {
        SynchronousQueue<Integer> integers = new SynchronousQueue<>();
        new Thread(() -> {
            try {
                log.debug("putting {} ", 1);
                integers.put(1);
                log.debug("{} putted...", 1);
                log.debug("putting...{} ", 2);
                integers.put(2);
                log.debug("{} putted...", 2);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        },"t1").start();
        sleep(1);
        new Thread(() -> {
            try {
                log.debug("taking {}", 1);
                integers.take();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        },"t2").start();
        sleep(1);
        new Thread(() -> {
            try {
                log.debug("taking {}", 2);
                integers.take();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        },"t3").start();

    }
}
  • 整个线程池表现为线程数会根据任务量不断增长,没有上限,当任务执行完毕,空闲 1分钟后释放线 程。 适合任务数比较密集,但每个任务执行时间较短的情况

5. newSingleThreadExecutor

public static ExecutorService newSingleThreadExecutor() {
    return new FinalizableDelegatedExecutorService
        (new ThreadPoolExecutor(1, 1,
                                0L, TimeUnit.MILLISECONDS,
                                new LinkedBlockingQueue<Runnable>()));
}

使用场景:

希望多个任务排队执行,线程数固定为1,任务数多于1时,会放入无界队列排队。任务执行完毕,这唯一的线程也不会被释放

区别

  • 自己创建一个单线程串行执行任务,如果任务执行失败而终止那么没有任何补救措施,线程池会新建一个线程,保证线程池的正常工作
  • Executors.newSingleThreadExecutor() 线程个数始终为 1,不能修改
    • FinalizableDelegatedExecutorService 应用的是装饰器模式,只对外暴露了ExecutorService 接口,因此不能调用 ThreadPoolExecutor 中特有的方法
  • Executors.newFixedThreadPool(1) 初始时为1,以后还可以修改
    • 对外暴露的是 ThreadPoolExecutor 对象,可以强转后调用 setCorePoolSize 等方法进行修改

6.提交任务

	// 执行任务
    public void execute(Runnable command) { 
        e.execute(command);     
    }
    // 提交任务 task,用返回值 Future 或得任务执行结果
    public <T> Future<T> submit(Callable<T> task) {
        return e.submit(task);
    }
	// 提交 tasks 中所有任务,带超时时间·
    public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks) throws InterruptedException {
        return e.invokeAll(tasks);
    }
    // 提交 tasks 中所有任务
    public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks)  throws InterruptedException {
        return e.invokeAll(tasks);
    }
	// 提交 tasks 中所有任务,哪个任务先成功执行完毕,返回此任务执行结果,其它任务取消
	public <T> T invokeAny(Collection<? extends Callable<T>> tasks) throws InterruptedException, ExecutionException {
        return e.invokeAny(tasks);
    }
    // 提交 tasks 中所有任务,哪个任务先成功执行完毕,返回此任务执行结果,其它任务取消,带超时时间
 	        public <T> T invokeAny(Collection<? extends Callable<T>> tasks, long timeout, TimeUnit unit)
            throws InterruptedException, ExecutionException, TimeoutException {
        return e.invokeAny(tasks, timeout, unit);
    }

7.关闭线程

shutdown

/*
Executors
线程池状态变为 SHUTDOWN
- 不会接收新任务
- 但已提交任务会执行完
- 此方法不会阻塞调用线程的执行
*/
public void shutdown() { e.shutdown(); }
    // ThreadPoolExecutor
    public List<Runnable> shutdownNow() {
        List<Runnable> tasks;
        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            checkShutdownAccess();
            advanceRunState(STOP);
            interruptWorkers();
            tasks = drainQueue();
        } finally {
            mainLock.unlock();
        }
        tryTerminate();
        return tasks;
    }

其他方法

在这里插入图片描述

从数字上比较,TERMINATEND > TIDYING > STOP > SHUTDOWN > RUNNING

	// Executors类  

	// 不在Running状态的线程池,此方法就返回true 
	public boolean isShutdown() { return e.isShutdown(); }

	// 线程池状态是否是 TERMINATED
    public boolean isTerminated() { return e.isTerminated(); }

	/* 
	调用 shutdown 后,由于调用线程并不会等待所有任务运行结束,
	因此如果它想在线程池 TERMINATED 后做些事情,可以利用此方法等待
	*/
 	public boolean awaitTermination(long timeout, TimeUnit unit)
            throws InterruptedException {
            return e.awaitTermination(timeout, unit);
        }

    // ThreadPoolExecutor

	// 不在Running状态的线程池,此方法就返回true 
	public boolean isShutdown() {
        return ! isRunning(ctl.get());
    }
    private static boolean isRunning(int c) {
        return c < SHUTDOWN;
    }

	// 线程池状态是否是 TERMINATED
    public boolean isTerminated() {
        return runStateAtLeast(ctl.get(), TERMINATED);
    }
    private static boolean runStateAtLeast(int c, int s) {
        return c >= s;
    }
	
	/* 
	调用 shutdown 后,由于调用线程并不会等待所有任务运行结束,
	因此如果它想在线程池 TERMINATED 后做些事情,可以利用此方法等待
	*/
    public boolean awaitTermination(long timeout, TimeUnit unit)
        throws InterruptedException {
        long nanos = unit.toNanos(timeout);
        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            for (;;) {
                if (runStateAtLeast(ctl.get(), TERMINATED))
                    return true;
                if (nanos <= 0)
                    return false;
                nanos = termination.awaitNanos(nanos);
            }
        } finally {
            mainLock.unlock();
        }
    }

8. 任务调度线程池

在任务调度线程池功能加入之前,可以使用 java.util.Timer 来实现定时功能,Timer 的优点在于简单易用,但由于所有任务都是由一个线程来调度,因此所有任务都是串行执行的,同一时间只能有一个任务在执行,前一个人物的延迟或异常都将会影响到之后的任务

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:15
 */
@Slf4j
public class ThreadPoolTest03 {

    public static void main(String[] args) {
        Timer timer = new Timer();
        TimerTask task1 = new TimerTask() {
            @Override
            public void run() {
                log.debug("task 1");
                Sleeper.sleep(2);
            }
        };
        TimerTask task2 = new TimerTask() {
            @Override
            public void run() {
                log.debug("task 2");
            }
        };

        // 使用 timer 添加两个任务,希望它们都在 1s 后执行
        // 但由于 timer 内只有一个线程来顺序执行队列中的任务,因此『任务1』的延时,影响了『任务2』的执行
        timer.schedule(task1, 1000);
        timer.schedule(task2, 1000);
    }
}

在这里插入图片描述

改成 ScheduleExecutorService(并行执行)

import com.lv.juc.util.Sleeper;
import lombok.extern.slf4j.Slf4j;

import java.util.Date;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest04 {

    public static void main(String[] args) {
        ScheduledExecutorService executorService = Executors.newScheduledThreadPool(2);
        // 添加两个任务,希望在1s后执行
        executorService.schedule(() -> {
            System.out.println("任务1 执行时间:" + new Date());
            Sleeper.sleep(2);
        }, 1000, TimeUnit.MICROSECONDS);

        executorService.schedule(() -> {
            System.out.println("任务2 执行时间:" + new Date());

        }, 1000, TimeUnit.MICROSECONDS);
    }
}

在这里插入图片描述

使用 scheduleAtFixedRate

import lombok.extern.slf4j.Slf4j;

import java.util.Date;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest05 {

    public static void main(String[] args) {
        ScheduledExecutorService pool = Executors.newScheduledThreadPool(1);

        log.debug("start ....");
        pool.scheduleAtFixedRate(() -> {
            log.debug("running.....");

        },1,1, TimeUnit.SECONDS);
    }
}

在这里插入图片描述

scheduleAtFixedRate (任务执行时间超过了间隔时间):

import com.lv.juc.util.Sleeper;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest05 {

    public static void main(String[] args) {
        ScheduledExecutorService pool = Executors.newScheduledThreadPool(1);

        log.debug("start ....");
        pool.scheduleAtFixedRate(() -> {
            log.debug("running.....");
            Sleeper.sleep(2);
        },1,1, TimeUnit.SECONDS);
    }
}

在这里插入图片描述

输出分析:一开始,延时 1s,接下来,由于任务执行时间 > 间隔时间,间隔到了 2s

scheduleWithFixedDelay

import com.lv.juc.util.Sleeper;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest06 {

    public static void main(String[] args) {
        ScheduledExecutorService pool = Executors.newScheduledThreadPool(1);

        log.debug("start ....");
        pool.scheduleWithFixedDelay(() -> {
            log.debug("running.....");
            Sleeper.sleep(2);
        },1,1, TimeUnit.SECONDS);
    }
}

输出分析:scheduleWithFixedDelay的间隔时间是上一个执行完毕,才会调用下一个任务开始

在这里插入图片描述

scheduleWithFixedDelay 和 scheduleAtFixedRate 的区别

  • scheduleWithFixedDelay 是上一个任务结束,才会调用下一个任务
  • scheduleAtFixedRate
    • 任务执行时间 > 设置的延迟时间,任务执行时间为间隔时间,
    • 任务执行时间 < 设置的延迟时间,设置的延迟时间为间隔时间

9.处理执行异常

方法1:主动捉异常

import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest07 {

    public static void main(String[] args) {
        ScheduledExecutorService pool = Executors.newScheduledThreadPool(1);

        log.debug("start ....");
        pool.submit(() -> {
            try {
                log.debug("task1");
                int i = 1 / 0;
            } catch (Exception e) {
                log.error("error :",e);
            }
        });
    }
}

在这里插入图片描述

方法2:使用Future

import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.ExecutionException;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import java.util.concurrent.ScheduledExecutorService;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest07 {

    public static void main(String[] args) throws ExecutionException, InterruptedException {
        ScheduledExecutorService pool = Executors.newScheduledThreadPool(1);

        Future<Boolean> future = pool.submit(() -> {
            log.debug("task1");
            int i = 1 / 0;
            return true;
        });
        log.debug("result: {}", future.get());
    }
}

在这里插入图片描述

Future 可以使用 get() 方法捕获异常

10. Tomcat 线程池

  • LimitLatch 用来限流,可以控制最大连接个数
  • Acceptor 只负责 【接收新的 socket 连接】
  • Poller 只负责监听 socket channel 是否有 【可读的 I/O 事件】
  • 一旦可读,封装成一个任务对象(socketProcessor),提交给Executor线程池处理
  • Executor 线程池中的工作线程最终负责 【处理请求】

Tomcat 线程池扩展了 ThreadPoolExecutor , 稍有不同

  • 如果总线程数达到 maximumPoolSize
    • 这时不会立刻抛 RejectedExecutionException 异常
    • 而是再次尝试将任务放入队列,如果还是失败,才会抛出RejectedExecutionException 异常

源码 tomcat-7.0.42

    public void execute(Runnable command, long timeout, TimeUnit unit) {
        submittedCount.incrementAndGet();
        try {
            super.execute(command);
        } catch (RejectedExecutionException rx) {
            if (super.getQueue() instanceof TaskQueue) {
                final TaskQueue queue = (TaskQueue)super.getQueue();
                try {
                    if (!queue.force(command, timeout, unit)) {
                        submittedCount.decrementAndGet();
                        throw new RejectedExecutionException("Queue capacity is full.");
                    }
                } catch (InterruptedException x) {
                    submittedCount.decrementAndGet();
                    Thread.interrupted();
                    throw new RejectedExecutionException(x);
                }
            } else {
                submittedCount.decrementAndGet();
                throw rx;
            }
        }
    }

TaskQueue.java

        public boolean force(Runnable o, long timeout, TimeUnit unit) throws InterruptedException {
            if ( parent.isShutdown() )
                throw new RejectedExecutionException(
                        "Executor not running, can't force a command into the queue"
                );
            return super.offer(o,timeout,unit); //forces the item onto the queue, to be used if the task 
            is rejected
        }

Connector 配置

配置项默认值说明
acceptorThreadCount1acceptor 线程数量
pollerThreadCount1poller 线程数量
minSpareThreads10核心线程数,即 corePoolSize
maxThreads200最大线程数,即 maximumPoolSize
executor-Executor名称,用来引用下面的 Executor

Executor 线程配置

配置项默认值说明
threadPriority5线程优先级
daemontrue是否守护线程
minSpareThreads25核心线程数,即corePoolSize
maxThreads200最大线程数,即maximumPoolSize
maxIdleTime60000线程生存时间,单位是毫秒,默认值即 1 分钟
maxQueueSizeInteger.MAX_VALUE队列长度
prestartminSpareThreadsfalse核心线程是否在服务器启动时启动

在这里插入图片描述

3.Fork/Join

1 概念

Fork / Join 是 JDK 1.7 加入的新的线程池的实现,它体现的是一种分治思想,适用于能够进行任务拆分的 cpu 密集型运算

所谓的任务拆分,是将一个大任务拆分为算法上相同的小任务,直至不能拆分可以直接求解。跟递归相关的一些计 算,如归并排序、斐波那契数列、都可以用分治思想进行求解

Fork/Join 在分治的基础上加入了多线程,可以把每个任务的分解和合并交给不同的线程来完成,进一步提升了运算效率

Fork/Join 默认会创建与 cpu 核心数大小相同的线程池

2 使用

提交给 Fork / Join 线程池的任务需要继承 RecursiveTask(有返回值)或

RecursiveAction(没有返回值),下面定义了一个对 1~n 之间的整数求和的任务

import lombok.extern.slf4j.Slf4j;

import java.time.DayOfWeek;
import java.time.Duration;
import java.time.LocalDateTime;
import java.util.Date;
import java.util.concurrent.*;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest09 {

    public static void main(String[] args) {
        ForkJoinPool pool = new ForkJoinPool(4);
        System.out.println(pool.invoke(new AddTask1(5)));
    }
}

@Slf4j
class AddTask1 extends RecursiveTask<Integer> {

    int n;

    public AddTask1(int n){
        this.n = n;
    }

    public String toString() {
        return "{" + n + "}";
    }


    @Override
    protected Integer compute() {
        // 如果 n 已经为 1 ,可以求得结果
        if (n == 1) {
            log.debug("join() {}", n);
            return  n;
        }

        // 将任务进行拆分(fork)
        AddTask1 t1 = new AddTask1(n - 1);
        t1.fork();
        log.debug("fork() {} + {}", n, t1);

        // 合并(join)结果
        int result = n + t1.join();
        log.debug("join() {} + {} = {}", n, t1, result);
        return result;
    }
}

在这里插入图片描述

在这里插入图片描述

改进


import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveTask;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest10 {

    public static void main(String[] args) {
        ForkJoinPool pool = new ForkJoinPool(4);
        System.out.println(pool.invoke(new AddTask3(1, 5)));
    }
}

@Slf4j
class AddTask3 extends RecursiveTask<Integer> {

    int begin;
    int end;

    public AddTask3(int begin, int end){
        this.begin = begin;
        this.end = end;
    }

    public String toString() {
        return "{" + begin + ","+ end + "}";
    }


    @Override
    protected Integer compute() {
        // 5, 5
        if (begin == end) {
            log.debug("join() {}", begin);
            return begin;
        }

        // 4, 5
        if (end - begin == 1) {
            log.debug("join() {} + {} = {}", begin, end, end + begin);
            return end + begin;
        }

        // 1, 5
        int mid = (end + begin) / 2; // 3

        AddTask3 t1 = new AddTask3(begin, mid); // 1,3
        t1.fork();
        AddTask3 t2 = new AddTask3(mid + 1, end); // 4,5
        t2.fork();
        log.debug("fork() {} + {} = ?", t1, t2);
        int result = t1.join() + t2.join();
        log.debug("join() {} + {} = {}", t1, t2, result);
        return result;

    }
}

在这里插入图片描述

在这里插入图片描述

异步模式之工作线程

1.定义

让有限的工作线程(Worker Thread)来轮流异步处理无限多的任务。也可以将其归类为分工模式,他的典型实现就是线程池,也体现了经典设计模式中的享元模式

例如,海底捞的服务员(线程),轮流处理每位客人的点餐(任务),如果为每位客人都配一名专属的服务员,那 么成本就太高了(对比另一种多线程设计模式:Thread-Per-Message)

注意,不同任务类型应该使用不同的线程池,这样能够避免饥饿,并能提升效率

例如,如果一个餐馆的工人既要招呼客人(任务类型A),又要到后厨做菜(任务类型B)显然效率不咋地,分成 服务员(线程池A)与厨师(线程池B)更为合理,当然你能想到更细致的分工

2.饥饿

固定大小线程池会饥饿现象

  • 两个公认是同一个线程池的两个线程
  • 他们要做的事情是:为客人点餐和到后厨做菜,这时两个阶段的工作
    • 客人点菜:必须先点完餐,等菜做好,上菜,在此期间处理点餐的工人必须等待
    • 后厨做菜:没啥说的,做就完了
  • 比如工人A 处理了点餐任务,接下来它要等着 工人B 把菜做好,然后上菜,他俩也配合的蛮好
  • 但现在同时来了两个客人,这个时候工人A 和工人B 都去处理点餐了,这时没人做饭了,饥饿
@Slf4j
public class TestDeadLock {

    static final List<String>  MENU = Arrays.asList("红烧肉","孜然羊肉","烤鱼","红烧排骨");
    static Random RANDOM = new Random();
    static String cooking() {
        return MENU.get(RANDOM.nextInt(MENU.size()));
    }

    public static void main(String[] args) {
        ExecutorService waiterPool = Executors.newFixedThreadPool(1);
        ExecutorService cookPool = Executors.newFixedThreadPool(1);

        waiterPool.execute(() -> {

            log.debug("处理点餐....");
            Future<String> f = cookPool.submit(() -> {
                log.debug("做菜");
                return cooking();
            });
            try {
                log.debug("上菜:{}", f.get());
            } catch (Exception e) {
                e.printStackTrace();
            }
        });

//        waiterPool.execute(() -> {
//            log.debug("处理点餐");
//            Future<String> f = cookPool.submit(() -> {
//                log.debug("做菜");
//                return cooking();
//            });
//            try {
//                log.debug("上菜:{}", f.get());
//            } catch (Exception e) {
//                e.printStackTrace();
//            }
//        });
    }
}

在这里插入图片描述

当注释取消后,可能会出现

17:08:41.339 c.TestDeadLock [pool-1-thread-2] - 处理点餐... 
17:08:41.339 c.TestDeadLock [pool-1-thread-1] - 处理点餐... 

解决方法可以增加线程池的大小,不过不是根本解决方案,还是前面提到的,不同的任务类型,采用不同的线程池

@Slf4j
public class TestDeadLock {

    static final List<String>  MENU = Arrays.asList("红烧肉","孜然羊肉","烤鱼","红烧排骨");
    static Random RANDOM = new Random();
    static String cooking() {
        return MENU.get(RANDOM.nextInt(MENU.size()));
    }

    public static void main(String[] args) {
        ExecutorService waiterPool = Executors.newFixedThreadPool(1);
        ExecutorService cookPool = Executors.newFixedThreadPool(1);

        waiterPool.execute(() -> {

            log.debug("处理点餐....");
            Future<String> f = cookPool.submit(() -> {
                log.debug("做菜");
                return cooking();
            });
            try {
                log.debug("上菜:{}", f.get());
            } catch (Exception e) {
                e.printStackTrace();
            }
        });

        waiterPool.execute(() -> {
            log.debug("处理点餐");
            Future<String> f = cookPool.submit(() -> {
                log.debug("做菜");
                return cooking();
            });
            try {
                log.debug("上菜:{}", f.get());
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }
}

在这里插入图片描述

3.创建多少线程池合适

  • 过小会导致程序不能充分地利用系统资源,容易导致饥饿
  • 过大会导致更多的线程上下文切换,占用更多内存

3.1 CPU密集型运算

通常采用 cpu 核数 + 1 能够实现最优的 CPU 利用率, +1 是保证当线程由于页缺失故障(操作系统)导致暂停时,额外的这个线程就能顶上去,保证CPU时钟周期不被浪费

3.2 I/O 密集型运算

CPU 不总是处于繁忙状态,例如,当你执行业务计算时,这时候会使用 CPU 资源,但当你执行 I/O 操作时、远程 RPC 调用时,包括进行数据库操作时,这时候 CPU 就闲下来了,你可以利用多线程提高它的利用率。

经验公式如下

线程数 = 核数 * 期望 CPU 利用率 * 总时间(CPU计算时间+等待时间) / CPU 计算时间

例如 4 核 CPU 计算时间是 50% ,其它等待时间是 50%,期望 cpu 被 100% 利用,套用公式

4 * 100% * 100% / 50% = 8

例如 4 核 CPU 计算时间是 10% ,其它等待时间是 90%,期望 cpu 被 100% 利用,套用公式

4 * 100% * 100% / 10% = 40

4.自定义线程池

在这里插入图片描述

定时任务

如何定时执行

import lombok.extern.slf4j.Slf4j;

import java.time.DayOfWeek;
import java.time.Duration;
import java.time.LocalDateTime;
import java.util.Date;
import java.util.concurrent.*;

/**
 * @author 晓风残月Lx
 * @date 2023/4/4 9:18
 */
@Slf4j
public class ThreadPoolTest08 {

    public static void main(String[] args) throws ExecutionException, InterruptedException {
        LocalDateTime now = LocalDateTime.now();
        // 获取周二 10 : 40: 00 .000
        LocalDateTime tuesday = now.with(DayOfWeek.TUESDAY).withHour(10).withMinute(40).withSecond(0).withNano(0);
        // 如果超过了这个点 就下周在执行
        if (now.compareTo(tuesday) >= 0) {
            tuesday = tuesday.plusWeeks(1);
        }

        // 计算时间差,即延时执行时间
        long initialDelay = Duration.between(now, tuesday).toMillis();
        // 计算间隔时间,即 1 周的毫秒值
        long oneWeek = 7 * 24 * 3600 * 1000;
        ScheduledExecutorService executor = Executors.newScheduledThreadPool(2);
        System.out.println("开始时间:" + new Date());
        executor.scheduleAtFixedRate(() -> {
            System.out.println("执行时间:" + new Date());
        }, initialDelay, oneWeek, TimeUnit.MILLISECONDS);

    }
}

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓风残月Lx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值