数据库连接池
为什么需要连接池
当一个数据库操作任务到来时,程序需要和数据库建立连接,进行三次握手、数据库用户验证,然后执行SQL语句,最后用户退出、四次挥手关闭连接。每次任务都执行这样的流程,那么整个流程中,真正有效而且变化的只有执行SQL
语句这一步骤,而且每次建立连接、用户验证、关闭连接都耗费时间。
因此,考虑能不能将连接只创建一次,然后复用长连接执行 SQL 语句呢?这需要池化技术。
池化技术可以减少资源对象的创建次数,提高程序的响应性能,特别是对高并发场景下的性能提升非常明显。
适合使用池化技术缓存的资源对象具有如下特点:
- 对象创建时间长
- 对象占用资源多
- 对象创建后可以重复使用
数据库连接池
数据库连接池是程序启动时建立一定数量的数据库连接,并将这些连接组成一个连接池,当程序需要用到连接去进行数据库操作的时候,直接从连接池中获取一个连接对象使用,使用完毕后,将连接对象归还给连接池。
优点:
(1)资源复用。避免了频繁的创建、释放连接引起的性能开销,减少系统消耗,增进系统运行环境的稳定(减少内存碎片和数据库临时线程/进程数量)。
(2)更快的系统响应速度。数据库连接池初始化完成后,直接利用现有可用连接,避免了从数据库连接初始化和释放过程的开销,从而缩减了系统整体响应时间。
(3)统一的连接管理,避免数据库连接泄漏。数据库连接池实现中,可根据预先的连接占用超时设定,强制收回被占用连接。从而避免了常规数据库连接操作中可能出现的资源泄露。
关键参数(以HikariCP为例)
connectionTimeout
:客户端等待池中连接的最大事件(毫秒),超时则会抛出 SQLException,最低可接受时间为 250ms,默认值为30000msmaximumPoolSize
:连接池中的最大连接数。默认为 10minimumIdle
:控制 HikariCP 中维护的最小空闲连接数。当空闲连接数小于 minimumIdle 并且池中的总连接数少于 maximumPoolSize 时,HikariCP 将添加其他连接直到 maximumPoolSize。为了获得最佳性能和对峰值需求的响应能力建议不要设置此值。 默认值与 maximumPoolSize 相同idleTimeout
:池中连接保持空闲状态的最长时间,只有在定义的minimumIdle 小于maximumPoolSize时生效,允许的最小时间为 10000ms,默认为 600000ms.当你配置了minimumIdle 且它的值还和maximumPoolSize不同的时候,就相当于告诉HikariCP,你至少得给我创建minimumIdle 多的连接备着。但是当你的系统忙的把minimumIdle 个备着的连接都拿走使用时,此时再问HikariCP索要,它就得给你创建多于minimumIdle 的连接,除非有连接还回来,否则我就得一直给你创建新的,直到达到上限——maximumPoolSize。但是,当你的系统过了忙碌期,闲下来的时候,多创建出来的那些连接,HikariCP就得抽空给干掉,因为它只需要保留minimumIdle 个就好了,多了浪费。此时这个idleTimeout参数就有用了,它就是用来告诉HikariCP,多出来的这些连接,多长时间没再被使用,你就可以干掉了。connectionTestQuery
: 用来测试连接是否可用的 SQL 查询,HikariCP 默认会使用SELECT 1
语句进行测试,如果设置为null,则不会进行测试。maxLifetime
: 最有可能出现坑的参数.池中连接的最大生命周期,默认值为1800000ms,即30分钟。如果设置为0,表示存活时间无限大。如果不等于0且小于30秒则会被重置回30分钟。如果设置了maxLifetime,则HikariCP给池中创建的每个连接,都会定时检测,不管这个连接上一次是什么时候使用的,只要在检测时它没在使用中,就会被淘汰。注意,这就是maxLifetime参数难以被理解的原因——哪怕是一个刚用完归还的连接,不幸碰巧赶上检测了,只能说永别——使得这个参数背后的逻辑显得非常不合理。但经过搜索,作者的想法是
:一个连接即使一直能用,也不应该一直存在下去,应该定时的关闭(哪怕一天关一次),好让数据库服务器那边清理掉一些浪费的资源。所以这才是maxLifetime最根本存在的原因。
连接数设置为多少才合适
- 经验公式,连接数=(核心数*2)+有效磁盘数。
假如服务器CPU是i7的8核,那么连接池连接数大小为 8∗2+1=9 。这仅仅是一个经验公式,具体的还要和线程池数量以及具体业务结合在一起。
- IO密集型任务
如果任务整体上是一个IO密集型的任务。在处理一个请求的过程中(处理一个任务),总共耗时100+5=105ms,而其中只有5ms是用于计算操作的(消耗cpu),另外的100ms等待io响应,CPU利用率为5/(100+5)。
使用线程池是为了尽量提高CPU的利用率,减少对CPU资源的浪费,假设以100%的CPU利用率来说,要达到100%的CPU利用率,对于一个CPU就要设置其利用率的倒数个数的线程数,也即1/(5/(100+5))=21,4个CPU的话就乘以4,即84,这个时候线程池要设置84个线程数,然后连接池也是设置为84个连接。
连接池和长连接的区别
-
长连接是一些驱动、驱动架构、ORM(即Object-Relational Mapping)工具的特性,由驱动来保持连接句柄的打开,以便后续的数据库操作可以重用连接,从而减少数据库的连接开销。
-
连接池是应用服务器的组件,它可以通过参数来配置连接数、连接检查、连接的生命周期等。
-
连接池内的连接,其实就是长连接。
如何简单实现一个连接池
实现一个连接池,最关键的是均衡和保活.连接池的“池”通过队列数据结构进行实现,队列先进先出的特性保证了使用连接的均衡性,每一条连接都可以均匀的被使用到.连接池对外提供get()和free()两个API,get()用于从队首“出队”获取一条可用连接,free()用于将使用完的连接从对尾“入队”释放到队列中。
业务代码在低峰时会降低get()动作,所以连接池中的连接在长时间不用时会导致失效,此时保活线程在监测到get()的使用频率较低时,会模拟业务程序调用get()获取连接后发送心跳包,然后再通过free()将被保活的连接放回队列中,达到连接池中所有连接保活的目的。