软件开发-01池化技术

池化技术

池化技术（Pooling Technique）是一种广泛应用于软件开发和系统设计中的资源管理策略，旨在通过复用预先创建和初始化的资源来提升系统性能、效率和稳定性。这种技术的基本原理是维护一组（即“池”）已经准备好的资源实例，当系统需要这些资源时，不是每次都创建新的实例，而是从池中获取一个已有的实例来使用，使用完毕后再归还到池中，以便后续的请求重复利用。

池化技术主要解决的问题包括：

• 资源节约：减少资源创建与销毁的开销，如创建新线程、打开数据库连接等操作可能涉及耗时的系统调用。
• 提高响应速度：通过预先初始化好的资源和重用现有资源，避免了每次请求时的初始化延迟。
• 控制资源使用量：限制资源的最大使用数量，防止资源耗尽。
• 增强系统性能和稳定性：通过管理资源的生命周期（监控），可以及时调整，满足系统需求，也可以更好地处理资源泄露问题。

总结：资源集中管理，资源预分配，资源复用

1. 现实池

软件的设计在现实中都是可以找到原型的，池化技术也一样。在现实中常见的 “池” 有 人力外包，人力资源池，有共享单车，共享汽车，共享女友？出租屋等等。

2. 线程池

2.1 使用线程池

在 Java 中，线程池很重要，它在很多地方都使用到：

• 并发任务计算，结果汇总，fork/join，CountDownLatch，缩短处理时间

• 异步执行，发通知，发邮件，发短信， @Async

• 定时任务调度，ScheduledThreadPoolExecutor，定时数据同步，资源释放

• 消息消费，快速消费消息，避免积压，

• 秒杀场景，将实际业务封装为一个job，使用线程池高效处理

• 文件上传和下载，断点续传

使用线程池能够

• 提高资源利用率，CPU 一直都是空闲的
• 提高系统性能，异步，快速消费，并发计算
• 提高响应速度
• 资源管理，不用手动创建，担心线程过多资源耗尽等

2.2 线程池实现

线程池（Thread Pool） 是一种基于池化思想管理线程的工具 ， 线程池解决的核心问题就是资源管理问题 。

大佬文章-线程池原理

2.2.1 基本设计

通俗的说线程池就是生产者消费者模式，生产者也就是我们创建一个个的任务 Task ( Runnable 或 Callable) 放入到队列中（LinkedBlockingQueue，ArrayBlockingQueue， SynchronousQueue，PriorityBlockingQueue），消费者就是线程池中的线程，线程通过while 循环从队列中拿到任务去执行。

2.2.2 运作原理

2.2.3 核心参数

核心线程数（corePoolSize）

线程池中常驻的核心线程数量。

• 默认不会主动创建，当有任务时满足条件才会创建，可以通过手动prestartCoreThread，prestartAllCoreThreads 预先创建
• 创建后不会回收，除非设置了allowCoreThreadTimeout 为 true
• 核心线程存在的价值即能够快速的处理任务，减少线程创建开销
• CPU密集型任务，CPU的核心数 + 1，充分利用CPU资源；I/O密集型任务，CPU的核心数 * 2 + 1。具体配置可通过压测来不断地调整。

最大线程数（maximumPoolSize）

线程池能够容纳的同时执行的最大线程数。当活动线程数达到这个值后，新任务将会被阻塞或拒绝，具体行为取决于队列和拒绝策略。

• 最大线程数对线程资源定义了活动空间，动态，灵活的处理规模变化的任务

• JVM 最大线程数没有限制（需要综合内存，堆栈大小分析），操作系统通常允许一个进程创建的线程数在3000到5000左右，但实际肯定会更低，具体配置应该根据业务场景

空闲线程存活时间（keepAliveTime）

当线程数超过核心线程数且有线程空闲时，空闲线程等待新任务的最长时间。超时后，这些额外的线程会被终止，直到线程数量降到核心线程数。这个参数与allowCoreThreadTimeout配合使用时，也会影响核心线程的生命周期。

存活时间单位（TimeUnit）

TimeUnit.SECONDS、TimeUnit.MILLISECONDS

工作队列/任务队列（workQueue）

用于存储等待执行的任务的阻塞队列。

阻塞队列	描述
LinkedBlockingQueue	容量无限制（默认Integer.MAX_VALUE，可以指定大小限制容量），两把锁吞吐量高，随机访问慢
ArrayBlockingQueue	容量有限制，一把锁，随机访问快
SynchronousQueue	同步队列，无容量，生产速度 = 消费速度
PriorityBlockingQueue	优先级队列，可以任务优先级排队，一把锁，大小堆，无界

线程工厂（threadFactory）

用于创建新线程的工厂类，可以定制线程的名称、优先级等属性。

拒绝策略（handler）

又称饱和策略，当任务太多，线程数达到了最大，队列也满了就需要根据拒绝策略来处理任务

名称	描述
ThreadPollExecutor.AbortPolicy	丢弃任务并抛出RejectedExecutionException异常，默认拒绝策略。
ThreadPollExecutor.DisCardPolicy	丢弃任务不抛出异常
ThreadPollExecutor.DisCardOldestPolicy	抛弃任务队列中最旧的任务也就是最先加入队列的，再把这个新任务添加进去。
ThreadPollExecutor.CallerRunsPolicy	由调用线程（提交任务的线程）处理该任务。
自定义策略

2.2.4 线程回收

当线程运行时 会加一个互斥锁 lock，若可以获取这个锁（tryLock），则证明线程没有正在运行在（running），则可以被中断（ shutdown，tryTerminate ）

线程池使用一张Hash表去持有线程的引用，这样可以通过添加引用、移除引用这样的操作来控制线程的生命周期。 核心线程可以无限等待获取任务，非核心线程要限时获取任务。当Worker无法获取到任务，也就是获取的任务为空时，循环会结束，Worker会主动消除自身在线程池内的引用。

判断线程是否在运行， Worker是通过继承AQS，使用AQS来实现独占锁这个功能 。

1. lock方法一旦获取了独占锁，表示当前线程正在执行任务中。
2. 如果正在执行任务，则不应该中断线程。
3. 如果该线程现在不是独占锁的状态，也就是空闲的状态，说明它没有在处理任务，这时可以对该线程进行中断。
4. 线程池在执行shutdown方法或tryTerminate方法时会调用interruptIdleWorkers方法来中断空闲的线程，interruptIdleWorkers方法会使用tryLock方法来判断线程池中的线程是否是空闲状态；如果线程是空闲状态则可以安全回收。

2.2.5 线程池状态

了解线程池状态有助于故障排查，更好地设计和优化并发策略。

监控与诊断 资源管理 优雅停机 异常处理与恢复 优化与调优

线程池状态	描述
running	能够接受新提交的任务，并且能够处理阻塞队列中的任务
shutdown	关闭状态，不在接受新提交的任务，但却可以继续处理阻塞队列中已存在的任务
stop	不能接受新的任务，也不再继续处理阻塞队列中的任务，会中断正在处理任务的线程
tidying	所有的任务已经终止了，workCount（有效线程数）为0
terminated	在terminated（）方法执行后进入该状态

2.2.6 监控|动态调整

大公司的线程池都是可以自动调整或者手动调整的，也具有很多监控系统监控线程池的运行状态，当然我们也可以通过编码，JMX，Spring Boot Actuator 模块等多种方式来监控线程池，了解它的执行状况等，调节最优。

JMX 全称为Java Management Extensions，是Java管理扩展的简称。这是一个强大的标准技术框架，设计用于管理和监控基于Java的应用程序、设备、系统和服务。JMX提供了一套灵活的API和一套架构，允许开发者在他们的应用程序中嵌入管理功能，从而使这些应用程序变得可管理。

性能监控 配置管理 故障排查 资源管理 通知与告警

3. 连接池

3.1 数据库连接池

3.1.1 使用数据库连接池

数据库方面使用 mysql 比较多，传统的 jdbc 都是需要自己去写 connect 连接数据库，然后进行数据库操作的，针对于 jdbc 的封装出现了很多的中间产物如 JdbcUtils 和 ORM（Hibernate，Mybatis）等，这些中间件给我们提供了很多开发的遍历，其中最主要的一点也就是数据库连接池的使用。

• 不用手动创建销毁数据库连接，减少了连接创建关闭的开销，实现连接复用，提升响应速度，简化编程模型，性能提升。

• 连接池对数据库连接进行管理，自动重连或者关闭空闲，避免过度创建连接和未及时关闭造成的不当和性能影响，增强系统的可靠性和稳定性。

• 连接池可以对数据库连接进行监控，可以动态的去调整来应对更多的业务场景，使得整个系统的性能达到最优，并且也能够方便问题诊断。

使用数据库连接池具备了池化思想的所有优点，也是池化技术的一个很好的实现

系统每次创建一个连接实际上都会分配一个随机的端口来连接mysql服务器，它们需要经历tcp的握手挥手，也需要时刻保持通道活跃，占用资源

# Jdbc
jdbc 为 java 提供的用于操作数据库的，允它定义了一套标准的接口，允许Java编程语言以统一的方式连接和操作多种关系型数据库。

3.1.2 数据库连接池

常用的数据库连接池

数据库连接池	描述
C3P0	连接池，早期成熟产品，配置复杂（灵活），兼容性好，高并发性能差
HikariCP	连接池，自动优化（锁，tcp，连接池参数，内存），配置简单（不够灵活），轻量级，高并发好（快）
Druid	连接池，监控，重量级，扩展性好，配置复杂（灵活），高并发（性能比不上 HikariCP）

spring boot 默认使用 HikariCP 作为数据库连接池

连接池中的技术点：

• 并发控制：在高并发的场景下是会出现多个线程争抢一个数据库连接的情况的，所以数据库连接池的数据结构，以及并发时的竞争机制（锁，乐观），阻塞机制（超时，快速失败）
• 动态调整：根据实际负载动态调整连接池大小
• 监控：连接池运行情况，性能指标，连接获取时间，连接建立时长，执行时间，sql 监控
• 扩展：自定义拦截，过滤器
• 快速初始化：异步创建，直接代码非反射，初始化逻辑精简（轻量），tcp 优化（针对不同数据库参数调整），合适的数据结构减少锁竞争

每个数据库都会有自己的性能参数，以及自己的连接特性，针对不同的数据库自动识别智能配置，深入了解数据库特性肯定是会比我们手动配置更好的

tcp 的默认保活时间由操作系统来决定，linux 是2小时，链接池通常会实现自己的心跳，是积极主动的连接健康检查方式，快速诊断不健康连接进行处理。

3.1.3 数据库连接池配置

以 HikariCP 为例看看数据库连接池的池配置参数

》maximum-pool-size

连接池中允许的最大连接数，默认是10，经验之谈则是 cpu核 * 2 +1，具体根据实际业务峰值来决断（压测来观察性能），也需要考虑服务器最大连接数（默认100多）。

当新的任务到来而没有足够的空闲连接的话，通常会等待或者立即异常

》minimum-idle

连接池中保持的最小空闲连接数，默认等于maximum-pool-size 即不指定的话，若等于最大连接数，那么当连接超时或其它情况只会更换连接也就是更新，若小于那么 idleTimeout，maxLifetime，连接泄露检测都会发现需要关闭的连接，直到不小于 minimum-idle。

当新的任务到来，优先使用空闲的连接，其次未达到最大连接数则创建连接满足新的任务需求

》connectionTestQuery

用来验证连接是否有效的SQL查询语句, select 1

》idleTimeout

连接测试，空闲连接在空闲默认 60000 即 1分钟后被认为是过期的没事干的，连接池负责创建新的连接来替换它。它可以防止长时间未使用的连接累积并占用资源，或者因数据库端的会话超时而变得不可用。

》maxLifetime

最大生命周期，一个连接在连接池中能存活的最大时间，之后会被断开并更新，默认1800000 即 30 分钟

连接泄露

数据库连接泄露指的是应用程序从连接池中获取数据库连接后，由于编程错误或异常处理不当，未能在使用完毕后正确地将其归还给连接池，导致连接一直被该应用程序所持有，无法被其他请求复用（设置泄露检测阈值，测试查询，自动回收，可能会误报等）。

3.1.4 数据库连接性能优化

很明显数据库的连接是有限的资源，当同一个时刻有10个数据库操作，那么默认情况下连接会被瞬间用尽，所以这里存在性能问题。

1. 传统的关系型数据库在分布式上都不是很好，有很多分布式事务，关联查询登问题，所有目前优先的方案就是怼硬件资源，数据库配置调优，读写分离，分库分表
2. 因为关系型数据库确实在高并发下有很大的性能问题，所以这就是引入缓存的必要，用来分担数据库的压力（大力推荐）
3. 优化sql 使用索引，减少每次任务连接的占用时间，从而提高连接周转率，避免长时间占用连接如excel导出，如大事务（大力推荐）
4. 合理设置 minimum-idle，有足够的连接来处理突发的高并发请求（作用有，但是不是非常大，因为可能一直都是忙碌中）
5. 异步，异步处理并不是减少了连接资源的需求，但是它改变了执行的模式，利用了等待时间提高吞吐率，高效的利用连接资源。（连接资源本身不够用的情况异步也没用）
6. 批处理，批处理很明显具有优势（大力推荐）
7. 快速归还链接给连接池也就是逻辑关闭，mybatis 替我们做了哈（try...finally）
8. 合理的连接池配置（大力推荐）

3.2 Redis 连接池

3.2.1 使用Redis 连接池

redis 是单线程模型的没有错，但是并不是说客户端连接redis 就是一个通道，redis 是多生产者（多个客户端或tcp连接）单消费者（文件事件分派器）的。所以维护管理客户端连接redis 服务的 tcp 连接也尤为重要，所以使用redis 连接池它所带来的好处和数据库连接池基本是一样的，也是池技术所具有的特点。

• 使用redis 连接池可以不用操心redis 连接的创建，关闭，回收，失活等。自己创建可能存在无限创建的弊端，忘记关闭可能在成连接泄露，自动回收可以保证资源的释放，失活检测连接替换以及初始化连接都能够保证当需要执行任务时连接有效可用且避免了连接空闲时间长或服务端关闭的失效情况。最大的特点是连接复用。
• 使用连接池可以增加任务执行的吞吐率，多个连接的并行执行明显优于单个连接的顺序等待执行。
• 使用连接池可以监控管理连接池中的连接，方便问题排查以及可能引入算法动态或者手动调整，更加的适配系统的业务环境做到性能最优，做到心中有数。
• 使用连接池也可以省去连接相关的代码，只关心业务，并且提供插件也能够更灵活的使用。

3.2.2 Java 中的 Redis 连接池

redis 连接池	描述
JedisPool	Jedis是Java中最早也是较为知名的Redis客户端之一，它提供的JedisPool是基于Apache Commons Pool库实现的连接池。JedisPool允许你配置连接池的各种参数，如最大连接数、最小空闲连接数、最大等待时间等。Jedis使用的是阻塞I/O模型，这意味着在执行命令时会阻塞当前线程直到命令完成。对于一些简单的应用或者早期项目，这是一个直观且易于上手的选择。spring boot 1.x 默认客户端。
Lettuce	Lettuce是一个现代的、灵活的Redis客户端，支持同步、异步和响应式编程模型。它自带了一个高性能的连接池实现，能够更好地处理高并发场景。lettuce使用Netty框架实现了非阻塞I/O，这意味着它可以更高效地处理大量并发连接，尤其适合微服务架构和高性能应用。它支持Redis Sentinel、Cluster等多种部署模式，并且提供了丰富的配置选项。从Spring Boot 2.x开始，Lettuce成为了默认的Redis客户端。
Redisson	Redisson是一个为Redis提供分布式和可扩展Java数据结构的客户端库，它基于Netty框架构建，支持异步和反应式操作。Redisson不仅仅是一个连接池，它还是一个完整的Redis客户端解决方案，提供了诸如分布式锁、映射、集合、队列等多种分布式数据结构和相关服务。Redisson内部实现了自己的连接池管理机制，该连接池高度优化，能够自动处理连接的创建、复用、健康检查及失效重连等问题，以适应不同的Redis部署场景，包括单机、主从、哨兵和集群模式。因此，当你使用Redisson时，无须单独配置或使用其他外部连接池库，Redisson自身就提供了高性能、高可用的连接池功能。

上面的客户端具备一个就可以了，多个客户端同时存在会造成资源浪费，逻辑混乱情况

3.2.3 Redis 连接池使用 NIO

Redis 连接池使用 NIO 的真正含义

逻辑上的同步等待：从应用开发者角度看，当我们调用一个如SET的命令时，如果使用的是同步API，逻辑上我们会期待这个操作完成后得到响应，才会继续执行后续的代码。这部分是人为的逻辑同步等待，意味着应用逻辑上保持了命令的顺序和一致性，给人一种“阻塞”的直观感受。

实际的非阻塞处理：然而，在NIO框架下，尽管应用代码逻辑上看似在等待某个命令的完成，但实际上，客户端底层的网络I/O操作是异步的。一旦命令发送到网络层，线程并不被这个操作“卡住”。在等待响应的这段时间里，由于NIO的非阻塞特性，该线程可以被Selector调度去处理其他Channel上的读写事件，比如处理其他Redis命令的发送或接收其他命令的响应。当最初的命令响应准备好时，NIO框架会通过回调、Future等方式通知应用，这时应用再恢复执行该命令后的逻辑，给开发者一种命令已完成的错觉，仿佛整个过程是同步的。

总结来说，虽然从应用逻辑层面看，某些操作似乎是同步进行的，保证了代码的简洁和逻辑的清晰，但实际上，NIO框架下的网络通信和事件处理是异步和非阻塞的，充分利用了系统资源，提高了效率。这种设计让开发者既能享受同步编程模型的直观性，又获得了异步I/O的性能优势。

mysql 数据库连接池为什么不适用 NIO

历史原因： mysql 起源很早了，那个时候 NIO 换没有诞生，阻塞I/O模型足以应对大多数场景，至今mysql 已经很普及了，形成了庞大的生态系统，NIO 的改造会对兼容性，事务等多方面造成影响不利于系统安全稳定。

没有必要： 对于服务端 SQL 是响应式的 BIO 在这方面和隔离性方面可能 更适合。 对于客户端 MySQL 服务器自身的处理能力、锁机制、事务处理逻辑等是影响性能的关键因素。即使客户端采用高性能的I/O模型，如果服务器端成为瓶颈，整体性能依然受限。

现在也有： 近年来，出现了更多支持异步操作的MySQL客户端，比如R2DBC（Reactive Relational Database Connectivity）项目，它为关系型数据库提供了反应式编程模型的支持，能够利用NIO等技术提高性能。

3.3 Tomcat 连接池

Tomcat连接器中的线程池主要承担以下职责和作用：

1. 并发处理能力：线程池允许Tomcat同时高效地处理多个客户端请求。通过重用预先创建的一组线程，减少了频繁创建和销毁线程的开销，这对于高并发场景下提升系统响应速度和降低资源消耗至关重要。

2. 资源管理与保护：线程是操作系统中的宝贵资源，线程池通过限制并发执行的线程数量，有效防止了因过多线程导致的资源过度消耗，如内存溢出或CPU过载，从而保护了系统的稳定性。

3. 负载均衡：线程池可以根据配置的参数（如最小空闲线程数minSpareThreads、最大线程数maxThreads、任务队列大小等），自动调整线程的创建与销毁策略，平衡系统负载，确保请求能够被合理分配和处理。

4. 性能优化：通过精细调整线程池的参数，如根据服务器硬件资源和应用特性设定合理的线程数量、队列长度及超时时间等，可以显著优化应用的响应时间和吞吐量，提升整体性能。

5. 请求排队与拒绝策略：当并发请求量超过线程池的即时处理能力时，未立即分配到线程的请求会被放入任务队列中等待。如果队列也满，则会触发拒绝策略（如抛弃任务、调用者运行任务或自定义处理），这些机制有助于控制系统在极端情况下的行为，避免系统崩溃。

6. 可维护性和监控：线程池提供了统一的管理和监控接口，便于运维人员监控线程使用情况，及时发现并解决问题，同时也方便了在不同部署环境下的配置调整。

配置：

maxThreads：最大线程数，默认200，一般建议500-1000，根据硬件和业务来判断

线程池中若核心线程已满，则直接进入队列中，当队列已满才会使用非核心线程，tomcat 重写了线程池，当请求来时，线程已满则使用非核心线程，非核心已满则放入队列。

3.4 mq

既然连接池对于tcp 连接的管理有那么多明显的好处，那么所有涉及 tcp 连接的中间件是否也使用了连接池技术呢。

在这里就有个说法，短连接和长连接：

短连接（Short Connection）： 客户端和服务器建立连接，传输完数据立刻断开，适合偶尔发送数据的场景，比如浏览网页时加载图片或查询信息。

长连接（Long Connection）： 一旦连接建立，双方可以长时间保持沟通，不断交换数据，直到有一方决定结束。适合需要频繁交流的场景，比如即时聊天、在线游戏，这样可以更快地传递信息，但占用资源相对多一些。

	短连接	长连接
tcp握手挥手	连接建立时就需要握手，断开时挥手	连接建立时就需要握手，断开时挥手
关闭时机	完成一次数据后随即关闭，或其它异常情况	主动关闭，或其它异常情况
资源消耗	每次连接建立和拆除的开销较小，但总资源消耗可能因频繁建立连接而增加	长时间保持连接会占用服务器资源，如内存和文件描述符
维护机制	连接池	心跳，重连
通信效率	资源释放迅速，适合轻量级交互	连续数据传输时效率更高
场景	http，sql，redis	聊天，mq

通过上面可以看到tcp 的使用有长短连接之分，对于短连接使用连接池来提高连接复用，加快相应速度，而长连接因为心跳，重连机制本身就已经具备了连接池所带来的特性了。

3.4.1 kafka

• 连接复用：Kafka生产者在初始化时会与所有需要通信的Broker建立连接，并维护这些连接。这些连接会被复用，而不是为每次消息发送创建新的连接，这减少了建立连接的开销。

• 分区与批处理：生产者会根据消息的目的Topic和Partition，将消息聚合到一起，形成Batch，然后通过已建立的连接发送出去。这样减少了网络IO操作的次数，提高了效率。

• 心跳机制：生产者还会定期向Broker发送心跳，保持连接活跃，同时用于检测Broker的可用性。

3.4.2 rocketMq

和kafka 类似哦

4. 对象池

上面已经看了很多池技术的应用了，其实线程池是对线程对象的管理，连接池是对连接socket的管理，本质上它也算是对象池。

在设计模式中有一个设计模式叫 享元模式 它的定义可能不好理解，不过它目的也是减少对象的创建通过共享重用来节省内存提高性能的目的。

那么对象池技术就是享元模式的典型实现了除此之外还有 String、int 常量池。图像开发，游戏开发中也会大量的用到池技术。缓存，也不得不说也是对对象的共享重用呢。