记一次线上应用连接池满的处理

记一次线上应用dubbo-claim连接池满的处理

这里写图片描述
首先看到dubbo-claim应用突然大面积报错,基本反馈是冻结预算出问题了,看了看冻结预算的代码,发现写的非常复杂,果断放弃看代码来排查问题。

Could not open jdbc connection for transaction: Pool empty. Unable to fetch a connection in 10 seconds, none available[size:20,busy:20; idle:0, lastwait:10000]

报错中能获得的信息是数据库的连接池满了。因为是突然报错,所以排查的主要两个方向:
1. 调用量增大导致响应慢
2. 数据库数据量增大导致响应慢

其他可能的小概率事件:
1. 数据库连接未正常关闭
2. 新上的功能比较耗时拖慢数据库
3. 数据库有异常,或者机器网络等硬件问题(概率极小,不到最后不要想)
4. 数据库连接是否配置小了?(20*4台一共80。假设平均处理时间在200ms,能够支撑400qps,足够了)

接下来就需要验证猜测,第一反应想看看jvm里的线程都干嘛呢,到底是谁在拖后腿,用 jstack 来打印出线程的活动状态,我是用jvisualVM来直接 dump 线程。
接下来就是看日志中的线程都干嘛呢,首先看状态为 BLOCK,和 WAITING 状态的线程,看他们是因为什么导致不执行。

"DubboServerHandler-10.3.0.87:20888-thread-152" - Thread t@229
   java.lang.Thread.State: BLOCKED
    at com.nfsq.xs.claim.biz.budget.BudgetService.freezeBudget(BudgetService.java:85)
    - waiting to lock <7153f861> (a com.nfsq.xs.claim.biz.budget.BudgetService) owned by "DubboServerHandler-10.3.0.87:20888-thread-176" t@253
    at com.nfsq.xs.claim.biz.budget.BudgetService$$FastClassBySpringCGLIB$$8dee689c.invoke(<generated>)
    at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)

接下来发现日志里一个非常重要信息线程152在等线程176的一个锁(7153f861),且其他很多线程也是在等待这把锁
接下来看线程176这家伙拿着这把锁干嘛呢

"
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sequelize 是 Node.js 环境下的 ORM 框架,提供了比较完善的数据库操作支持。Sequelize 的连接池是其关键特性之一,可以在多个请求之间共享数据库连接,提升数据库查询性能。但是,连接池的配置和使用也需要注意一些细节。 在线上环境中,我们曾经遇到过 Sequelize 连接池报错“ResourceRequest timed out”的问题。经过排查,我们发现该问题主要有以下几个原因: 1. 连接池配置不合理 Sequelize 的连接池有很多配置项,比如最大连接数、最小连接数、连接超时时间等。如果这些参数设置不合理,就容易导致连接池资源不足或者连接过期。因此,我们需要根据实际需求和服务器性能,进行合理的配置。 2. 数据库连接未释放 在使用 Sequelize 连接池时,我们需要手动释放连接资源。如果没有正确释放,就会导致连接池资源耗尽。通常我们可以使用 Promise.then 或 .finally 方法来释放连接资源。 3. 数据库连接泄露 数据库连接泄露是指在应用中创建的数据库连接未被正确关闭,从而导致连接池中的连接资源逐渐耗尽。通常我们可以使用 Sequelize 提供的 sequelize.close() 方法来关闭所有数据库连接,确保连接池资源得到释放。 4. 高并发压力过大 当应用面临高并发压力时,连接池中的连接资源可能会被快速消耗完毕。此时,我们需要调整连接池的配置或者增加服务器资源,来足高并发请求的需求。 总之,Sequelize 连接池的问题排查需要综合考虑多个因素。在实际项目中,我们可以通过监控工具、日志分析等手段,及时发现和解决连接池问题,确保应用的稳定性和性能表现。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值