一次线上请求数到一定量后报500,Time OUT异常的问题

接口地址(项目基于微服务)
merchant/api/merchants-get-bind-merchant-by-platform
问题复现通过postman压测
在这里插入图片描述
请求了24次以后接下来所有的请求报500
Exception in com.hpkj.merchant.web.rest.MerchantResource.getMerchantByBindPlatformWithState() with cause = ‘java.util.concurrent.TimeoutException’ and exception = 'PlatformService#platformBindMerchantByBrandWithType(Long,Long,Integer,Boolean) timed-out and no fallback available.'
定位到接口
platform/api/platform-bind-merchant-by-condition-with-type
再到
shop/api/get-platform/merchant-open-full-activity
初步定位到@RedisCache注解
在这里插入图片描述
将注解取消后压测正常
在这里插入图片描述
然后定位到问题在RedisTemplate,Redis连接的释放失败
在这里插入图片描述
RedisConnectionUtils.unbindConnection
此方法会判断当前是否使用了事务,如果使用了需要手动释放,redisTemplate执行完方法后将不会自动释放连接
在这里插入图片描述
详见https://my.oschina.net/lasipia/blog/1002640
看看redisTemplate的***核心方法excute(所有对redis数据的操作都是调用了此方法)***在finally调用了releaseConnection方法
在这里插入图片描述
在这里插入图片描述

所以按照逻辑redis在使用后已经释放了那为什么后面还是会造成未释放的故障,注意redisTemplate.getConnectionFactory().getConnection().getClientName()
会再次获得连接并且不会执行redisRedisTemplate的Excute方法,也就是说不会执行连接关闭的操作。
所以加一个释放连接的动作:
在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在一个流量高峰期间,我们的网站开始出现了性能问题,特别是Tomcat的worker线程居高不下。这个问题对我们的系统稳定性和用户体验产生了严重影响,因此我们立即进行了排查和解决。 首先,我们使用工具监控了Tomcat的worker线程数,发现在高峰期间线程数增长过快,并且没有下降的趋势。接下来,我们对服务器进行了资源监控,发现CPU和内存的使用率都没有超过正常范围。这表明问题不是由于服务器资源不足导致的。 然后,我们查看了Tomcat的日志文件,发现一些异常错误信息与数据库连接相关。我们怀疑是数据库连接池的问题,因此我们进一步检查了数据库的连接数和连接池的配置。经过对比分析,我们发现数据库连接池的最大连接数被设置得过小,导致在高流量时无法满足请求的需求。我们立即调整了连接池的配置,增加了最大连接数,以应对高峰期的负载。 随后,我们重启了Tomcat,并观察了一段时间。我们发现线程数在高峰期开始时仍然有所增长,但是随着时间的推移开始逐渐下降,最终稳定在一个正常的范围内。这表明我们的排查和解决措施是有效的。 为了进一步确保问题的解决,我们还增加了日志监控和警机制,以便更及时地发现和解决类似问题。 通过这次经历,我们学到了对于高并发流量情况下的线问题,需要全面考虑不同组件的性能和配置,并对各个环节进行监控和调整。同时,日志分析和排查是至关重要的工作,能够帮助我们准确定位问题并采取合适的解决措施,最终提升系统的稳定性和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值