记录一次Druid的处理优化过程

在原先的一个项目中上线正常运行一个多月后突然在查询数据功能上频繁出现数据库获取连接关闭(最头痛的是本地开发环境中不知如何重现该问题,开发调试又正常使用),抛出异常(因为时间比较旧了,忘记具体的异常信息只记得大概):

com.microsoft.sqlserver.jdbc.SQLServerException: 该连接已关闭

背景:我们项目配置了多数据源(读写分离),在写操作时我们使用spring jdbc,在查询操作上我们调用DruidDataSource来管理conn连接,同时声明了ThreadLocal对象来保存每次线程请求所获取的连接。

连接池配置:

# 初始化大小,最小,最大
spring.datasource.druid.initial-size=20
spring.datasource.druid.min-idle=20
spring.datasource.druid.max-active=200
# 配置获取连接等待超时的时间
spring.datasource.druid.max-wait=3000
# 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
spring.datasource.druid.time-between-eviction-runs-millis=60000
# 配置一个连接在池中最小生存的时间,单位是毫秒
spring.datasource.druid.min-evictable-idle-time-millis=300000
spring.datasource.druid.validation-query=SELECT 'x'
spring.datasource.druid.test-while-idle=true
spring.datasource.druid.test-on-borrow=false
spring.datasource.druid.test-on-return=false
# 打开PSCache,并且指定每个连接上PSCache的大小
spring.datasource.druid.pool-prepared-statements=true
spring.datasource.druid.max-pool-prepared-statement-per-connection-size=20
# 配置监控统计拦截的filters,去掉后监控界面sql无法统计,'wall'用于防火墙
spring.datasource.druid.filters=stat,wall,log4j

问题探讨:

1、异常信息日志都是在读取数据时抛出,那么应该是在Druid配置上面导致的问题

2、提示连接关闭,是否可能是活跃用户量过高导致连接池某些连接意外被关闭了

3、是否是服务器数据库服务于多个项目,导致数据库连接资源满了,又或者说网络导致的

 

解决之路:

1、首先我上生产环境的数据库中查看了下数据库配置的最大连接数,经查询最大数为1000,而目前正在使用的项目配置的总最大连接数才600,对此我粗略的排除了数据库自身问题

2、我又在一次的看了下日志的操作情况,分析出当天的pv并不大,而且也不存在并发高的情况,对此我又排除了并发量高的问题

3、然后我开始查看Druid的配置信息,还是没看出来什么问题,很纳闷。

很无赖,对此只能看看DruidDataSource的源码信息了,点击进入代码,看到眼花缭乱的配置属性,在简单的摸索后,有一个配置引起了我的注意 -- removeAbandoned,从字面上的意思大概就是 遗弃 啥的...

然后我就去百度了下该配置的相关资料,原来这是关于数据库连接自动回收机制紧密相关配置。

原来当数据库连接池中的连接被创建而长时间不使用的情况下,该连接会自动回收并失效,但客户端并不知道,在进行数据库操作时仍然使用的是无效的数据库连接,这样,就导致客户端程序报出连接关闭的异常。

需要配置 removeAbandoned="true" 对于长时间不使用的连接强制关闭,以及超过时间开始关闭空闲连接removeAbandonedTimeout=180,对此为了后续更好的跟踪日志我还开启了关闭动作记录到日志 logAbandoned=true

最后我把连接池配置修改了一下:

# 初始化大小,最小,最大
spring.datasource.druid.initial-size=20
spring.datasource.druid.min-idle=20
spring.datasource.druid.max-active=200
# 配置获取连接等待超时的时间
spring.datasource.druid.max-wait=3000
# 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
spring.datasource.druid.time-between-eviction-runs-millis=60000
# 配置一个连接在池中最小生存的时间,单位是毫秒
spring.datasource.druid.min-evictable-idle-time-millis=300000
spring.datasource.druid.validation-query=SELECT 'x'
spring.datasource.druid.test-while-idle=true
spring.datasource.druid.test-on-borrow=false
spring.datasource.druid.test-on-return=false
# 打开PSCache,并且指定每个连接上PSCache的大小
spring.datasource.druid.pool-prepared-statements=true
spring.datasource.druid.max-pool-prepared-statement-per-connection-size=20
# 配置监控统计拦截的filters,去掉后监控界面sql无法统计,'wall'用于防火墙
spring.datasource.druid.filters=stat,wall,log4j
# 配置数据库断开后自动连接
spring.datasource.druid.logAbandoned=true
spring.datasource.druid.removeAbandoned=true
spring.datasource.druid.removeAbandonedTimeout=180

 网上很多说把什么代码配置成私有的,看得真的让人很心累...

  • 4
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值