动态轻量级线程池项目

玖柒_lin

于 2024-10-09 20:30:08 发布

阅读量578

点赞数 12

文章标签： java

QiAn

本文链接：https://blog.csdn.net/linping_wong/article/details/142794166

版权

动态线程池：

使用线程池ThreadPoolExecutor过程中你是否有以下痛点呢？

① 代码中创建了一个ThreadPoolExecutor，但是不知道参数设置多少比较合适。

② 凭经验设置参数值，上线后发现需要调整，改代码重新发布服务，非常麻烦。

③ 线程池相对开发人员来说是个黑盒，运行情况不能及时感知到，直到出现问题。

如果有以上痛点，动态可监控线程池框架（DynamicTp）或许能帮助到你。如果看过 ThreadPoolExecutor的源码，大概可以知道它对核心参数基本都有提供set/get方法以及一些扩展方法，可以在运行时动态修改、获取相应的值，如图所示：

dynamic-tp简介：

官网：

首页 | dynamictp

基于配置中心的轻量级动态线程池，内置监控告警功能，集成常用中间件线程池管理，可通过SPI自定义扩展实现。

为何要引入配置中心？

现在大多数的互联网项目都会微服务化部署，有一套自己的服务治理体系，微服务组件中的分布式配置中心扮演的就是动态修改配置，实时生效的角色。那么我们是否可以结合配置中心来做运行时线程池参数的动态调整呢？

答案是肯定的，而且配置中心相对都是高可用的，使用它也不用过于担心配置推送失败这类问题，而且也能减少研发动态线程池组件本身的难度和工作量。综上，可以总结出以下的背景：

① 广泛性：在 Java 开发中，想要提高系统性能，线程池已经是一个90%以上开发都会选择使用的基础工具。

② 不确定性：项目中可能会创建很多线程池，既有IO密集型的，也有CPU密集型的，但线程池的参数并不好确定；需要有套机制在运行过程中动态去调整参数。

③ 无感知性：线程池运行过程中的各项指标一般感知不到；需要有套监控报警机制在事前、事中就能让开发人员感知到线程池的运行状况及时处理。

④ 高可用性：配置变更需要及时推送到客户端，需要有高可用的配置管理推送服务，配置中心是现在大多数互联网系统都会使用的组件，与之结合可以极大提高系统可用性。

功能介绍：

功能	描述
代码零侵入	改变了线程池以往的使用方式，所有配置均放在配置中心，服务启动时会从配置中心拉取配置生成线程池对象放到Spring容器中，使用时直接从 Spring 容器中获取，对业务代码零侵入
通知告警	提供多种报警维度（配置变更通知、活性报警、容量阈值报警、拒绝触发报警、任务执行或等待超时报警），已支持企业微信、钉钉、飞书、邮件报警，同时提供 SPI 接口可自定义扩展实现
运行监控	定时采集线程池指标数据，支持通过MicroMeter、JsonLog日志输出、Endpoint三种方式，可通过SPI接口自定义扩展实现
任务增强	提供任务包装功能，实现TaskWrapper接口即可，如：MdcTaskWrapper、 TtlTaskWrapper、SwTraceTaskWrapper，可以支持线程池上下文信息传递
多配置中心支持	基于主流配置中心实现线程池参数动态调整，实时生效，已支持Nacos、Apollo、 Zookeeper、Consul、Etcd、Polaris、ServiceComb，同时也提供SPI接口可自定义扩展实现
轻量简单	基于SpringBoot实现，引入starter，接入只需简单4步就可完成，顺利3分钟搞定
中间件线程池管理	集成管理常用第三方组件的线程池，已集成 Tomcat、Jetty、Undertow、Dubbo、 RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件的线程池管理（调参、监控报警）
多模式	提供了增强线程池 DtpExecutor，IO密集型场景使用的线程池 EagerDtpExecutor，调度线程池 ScheduledDtpExecutor，有序线程池 OrderedDtpExecutor，可以根据业务场景选择合适的线程池
兼容性	JUC普通线程池和Spring中的ThreadPoolTaskExecutor也可以被框架管理，@Bean定义时加 @DynamicTp 注解即可
可靠性	框架提供的线程池实现了Spring生命周期方法，可以在Spring容器关闭前尽可能多的处理队列中的任务
高可扩展	框架核心功能都提供 SPI 接口供用户自定义个性化实现（配置中心、配置文件解析、通知告警、监控数据采集、任务包装等等）
线上大规模应用	参考《Java线程池实现原理及其在美团业务中的实践》和《动态线程池在转转平台的实践》，美团及转转内部已经有该理论成熟的应用经验

模块划分：

模块名称	描述
配置变更监听	① 监听特定配置中心的指定配置文件（已实现 Nacos、Apollo、Zookeeper、Consul、 Etcd、Polaris、ServiceComb），可通过内部提供的SPI接口扩展其他实现 ② 解析配置文件内容，内置实现 yml、properties、json 配置文件的解析，可通过内部提供的SPI接口扩展其他实现 ③ 通知线程池管理模块实现参数的刷新
线程池管理	① 服务启动时从配置中心拉取配置，生成线程池实例注册到内部线程池注册中心以及 Spring容器中 ② 接收配置监听模块的刷新事件，实现线程池参数的刷新 ③ 代码中通过依赖注入（推荐）或者 DtpRegistry.getDtpExecutor() 方法根据线程池名称来获取线程池实例
第三方组件线程池管理	① 利用Spring的事件机制和核心逻辑解耦，服务启动获取第三方中间件的线程池，被框架管理起来，已集成 Tomcat、Jetty、Undertow、Dubbo、RocketMq、Hystrix、 Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件线程池管理 ② 接受参数刷新、指标收集、通知报警事件，进行相应的处理
监控	实现监控指标采集以及输出，已支持以下三种方式，也可通过内部提供的SPI接口扩展其他实现 ① 以JsonLog输出到磁盘指定目录，可以自己采集解析日志，存储展示 ② 以Micrometer采集，引入 Micrometer 相关依赖，暴露相关端点，采集指标数据，结合Grafana做监控大盘 ③ 暴露自定义Endpoint端点（dynamic-tp），可通过http方式实时访问
通知告警	① 线程池主要参数变更通知 ② 阻塞队列容量达到设置的告警阈值 ③ 线程池活性达到设置的告警阈值 ④ 触发拒绝策略告警，格式：A/B A：该报警项前后两次报警区间累加数量 B：该报警项累计总数 ⑤ 任务执行超时告警，格式：A/B A：该报警项前后两次报警区间累加数量 B：该报警项累计总数 ⑥ 任务等待超时告警，格式：A/B A：该报警项前后两次报警区间累加数量 B：该报警项累计总

代码结构：

package	描述
adapter	主要是适配第三方组件的线程池管理，目前已经实现的有SpringBoot内置的三大web容器（Tomcat、Jetty、Undertow）、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、 Brpc、Tars、SofaRpc、RabbitMq的线程池管理，后续会接入其他常用组件的线程池管理
common	主要是一些各个模板都会用到的类，解耦依赖，复用代码，大家日常开发中可能也经常会这样组织代码
core	该框架的核心代码都在这个模块里，包括动态调整参数，监控报警，以及串联整个项目流程都在此处
example	提供一个简单使用示例，方便使用者参照
extension	放一些扩展功能实现，比如基于redis的流控扩展、邮件发送扩展、skywalking上下文传递扩展等
logging	用于配置框架内部日志的输出，目前主要用于输出线程池监控指标数据到指定文件
starter	提供独立功能模块的依赖封装、自动配置等相关
test	主要是一些单元测试