线程池知识点

基本概念

JDBC编程中，通过DataSource获取Connection的时候就已经用到了池的概念。这里的池指的是数据库连接池。当Java程序需要数据库连接的时候就从池子中拿一个空闲的连接对象给Java程序，Java程序用完连接之后就会返回给连接池。线程池就是在池子里放的是线程本身，当程序启动的时候就创建出若干个线程，如果有任务就处理，没任务就阻塞等待。

为什么使用线程池

当创建一个线程时，系统申请资源，将其加入到PCB的链表中，当需要销毁线程时释放资源，从PCB链表中移除。线程池的作用就是为了减少这些关于申请和释放PCB的操作，尽量保证程序在用户态执行，减少系统创建线程的开销。
线程池的优点
1、降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。
2、提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。
3、提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。
JDK提供的线程池

不建议使用JDK提供的线程池
FixedThreadPool 和 SingleThreadExecutor：主要问题是堆积的请求处理队列均采用 LinkedBlockingQueue，可能会耗费非常大的内存，甚至 OOM。
CachedThreadPool 和 ScheduledThreadPool：主要问题是线程数最大数是 Integer.MAX_VALUE，可能会创建数量非常多的线程，甚至 OOM。
自定义线程池

线程池参数解析

核心参数
● corePoolSize（必需）：核心线程数。默认情况下，核心线程会一直存活，但是当将 allowCoreThreadTimeout 设置为 true 时，核心线程也会超时回收。
● maximumPoolSize（必需）：线程池所能容纳的最大线程数。当活跃线程数达到该数值后，后续的新任务将会阻塞。
● keepAliveTime（必需）：线程闲置超时时长。如果超过该时长，非核心线程就会被回收。如果将 allowCoreThreadTimeout 设置为 true 时，核心线程也会超时回收。
● unit（必需）：指定 keepAliveTime 参数的时间单位。常用的有：TimeUnit.MILLISECONDS（毫秒）、TimeUnit.SECONDS（秒）、TimeUnit.MINUTES（分）。
● workQueue（必需）：任务队列。通过线程池的 execute() 方法提交的 Runnable 对象将存储在该参数中。其采用阻塞队列实现。
● threadFactory（可选）：线程工厂。用于指定为线程池创建新线程的方式。
● handler（可选）：拒绝策略。当达到最大线程数时需要执行的饱和策略。
参数解析
任务队列
任务队列是基于阻塞队列实现的，即采用生产者消费者模式，在 Java 中需要实现 BlockingQueue 接口。但 Java 已经为我们提供了 7 种阻塞队列的实现：
● ArrayBlockingQueue：一个由数组结构组成的有界阻塞队列（数组结构可配合指针实现一个环形队列）。
● LinkedBlockingQueue： 一个由链表结构组成的有界阻塞队列，在未指明容量时，容量默认为 Integer.MAX_VALUE。
● PriorityBlockingQueue： 一个支持优先级排序的无界阻塞队列，对元素没有要求，可以实现 Comparable 接口也可以提供 Comparator 来对队列中的元素进行比较。跟时间没有任何关系，仅仅是按照优先级取任务。
● DelayQueue：类似于PriorityBlockingQueue，是二叉堆实现的无界优先级阻塞队列。要求元素都实现 Delayed 接口，通过执行时延从队列中提取任务，时间没到任务取不出来。
● SynchronousQueue： 一个不存储元素的阻塞队列，消费者线程调用 take() 方法的时候就会发生阻塞，直到有一个生产者线程生产了一个元素，消费者线程就可以拿到这个元素并返回；生产者线程调用 put() 方法的时候也会发生阻塞，直到有一个消费者线程消费了一个元素，生产者才会返回。
● LinkedBlockingDeque： 使用双向队列实现的有界双端阻塞队列。双端意味着可以像普通队列一样 FIFO（先进先出），也可以像栈一样 FILO（先进后出）。
● LinkedTransferQueue： 它是ConcurrentLinkedQueue、LinkedBlockingQueue 和 SynchronousQueue 的结合体，但是把它用在 ThreadPoolExecutor 中，和 LinkedBlockingQueue 行为一致，但是是无界的阻塞队列。
注意有界队列和无界队列的区别：如果使用有界队列，当队列饱和时并超过最大线程数时就会执行拒绝策略；而如果使用无界队列，因为任务队列永远都可以添加任务，所以设置 maximumPoolSize 没有任何意义。
线程工厂
线程工厂指定创建线程的方式，需要实现 ThreadFactory 接口，并实现 newThread(Runnable r) 方法。该参数可以不用指定，Executors 框架已经为我们实现了一个默认的线程工厂：

拒绝策略
当线程池的线程数达到最大线程数时，需要执行拒绝策略。拒绝策略需要实现 RejectedExecutionHandler 接口，并实现 rejectedExecution(Runnable r, ThreadPoolExecutor executor) 方法。不过 Executors 框架已经为我们实现了 4 种拒绝策略：
● AbortPolicy（默认）：丢弃任务并抛出 RejectedExecutionException 异常。
● CallerRunsPolicy：由调用线程处理该任务。
● DiscardPolicy：丢弃任务，但是不抛出异常。可以配合这种模式进行自定义的处理方式。
● DiscardOldestPolicy：丢弃队列最早的未处理任务，然后重新尝试执行任务。

线程池流程

封装好的线程池组件

DynamicTp框架
JDK自带的功能是有限的，很大场景下是无法满足需求的，而DynamicTp框架对线程池 ThreadPoolExecutor 做一些扩展增强，主要实现以下目标：
1、实现对运行中线程池参数的动态修改，实时生效。
2、实时监控线程池的运行状态，触发设置的报警策略时报警，报警信息推送办公平台。
3、 定时采集线程池指标数据，配合像 Grafana 这种可视化监控平台做大盘监控。
4、集成常用三方中间件内部线程池管理。
特性：
● 代码零侵入：配置均放在配置中心（也可不用），服务启动时会从配置中心拉取配置生成线程池对象放到 Spring 容器中，使用时直接从 Spring 容器中获取，对业务代码零侵入。
● 通知告警：提供多种通知告警维度（配置变更通知、活性报警、队列容量阈值报警、拒绝触发报警、任务执行或等待超时报警），触发配置阈值实时推送告警信息，已支持企微、钉钉、飞书、邮件、云之家报警，同时提供 SPI 接口可自定义扩展实现。
● 运行监控：定时采集线程池指标数据（20 多种指标，包含线程池维度、队列维度、任务维度、tps、tp99等），支持通过 MicroMeter、JsonLog、JMX 三种方式定时获取，也可以通过 SpringBoot Endpoint 端点实时获取最新指标数据，同时提供 SPI 接口可自定义扩展实现。
● 任务增强：提供任务包装功能（比 Spring 线程池任务包装更强大），实现 TaskWrapper 接口即可。
● 支持多种配置中心：Nacos、Apollo、Zookeeper、Consul、Etcd、Polaris、ServiceComb，同时也提供 SPI 接口可自定义扩展实现。
● 中间件线程池管理：集成管理常用第三方组件的线程池，已集成 Tomcat、Jetty、Undertow、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件的线程池管理（调参、监控报警）。
● 轻量简单：使用起来极其简单，引入相应依赖，接入只需简单 4 步就可完成。
● 多模式：提供了增强线程池 DtpExecutor，IO 密集型场景使用的线程池 EagerDtpExecutor，调度线程池 ScheduledDtpExecutor，有序线程池 OrderedDtpExecutor，可以根据业务场景选择合适的线程池。
● 兼容性：通过 @DynamicTp 注解可管理JUC 普通线程池和 Spring 中的 ThreadPoolTaskExecutor。
● 可靠性：依靠 Spring 生命周期管理，可以做到优雅关闭线程池，在 Spring 容器关闭前尽可能多的处理队列中的任务。
● 高可扩展：框架核心功能都提供 SPI 接口供用户自定义个性化实现（配置中心、配置文件解析、通知告警、监控数据采集、任务包装等等）。
技术架构

实战流程

不使用配置中心
不使用配置中心也就意为着不能动态调整参数信息，但是具备监控告警功能。
引入依赖

配置

开启功能

@SpringBootApplication@EnableDynamicTp
public class AppApplication {
  public static void main(String[] args) {    
      SpringApplication.run(AppApplication.class, args) ; 
  }
}

代码中的使用

@Bean
@DynamicTpThreadPoolExecutor
packPoolExector() {
    return new ThreadPoolExecutor(10, 10, 60, TimeUnit.SECONDS, new LinkedBlockingQueue<>());
}

@Bean
@DynamicTpThreadPoolTaskExecutor
packTaskExecutor() {
    return new ThreadPoolTaskExecutor();
}

直接注入要使用的线程池对象

@Componentpublic
class PackTaskComponent {
    private final AtomicInteger count = new AtomicInteger(0);
    private final ThreadPoolExecutor packPoolExector;

    public PackTaskComponent(ThreadPoolExecutor packPoolExector) {
        this.packPoolExector = packPoolExector;
    }

    @PostConstruct
    public void task() {
        new Thread(() -> {
            while (true) {
                packPoolExector.execute(() -> {
                    System.err.printf("当前线程: %s, 当前执行第 %d 任务%n", Thread.currentThread().getName(), count.incrementAndGet());
                    try {
                        TimeUnit.SECONDS.sleep(1);
                    } catch (InterruptedException e) {
                    }
                });
                try {
                    TimeUnit.MILLISECONDS.sleep(1500);
                } catch (InterruptedException e) {
                }
            }
        }).start();
    }
}

线程池监控
配置文件中开启了监控，可以在日志文件和Promethues+Grafana查看统计信息

线程池告警
告警通知我们就以email为例，引入如下依赖：

配置邮件信息

基于Nacos配置中心
引入依赖

配置文件中配置nacos信息

再在nacos中配置相关的参数信息