记录生产环境大量请求到服务端,返回timeout问题分析及处理

问题背景:一个平稳运行了快3年的跑批程序,最近频繁出现请求timeout的问题,导致其他的一些请求也陆续出现timeout。本来以为是更新程序出现了问题导致跑批一直没有结果,查看运行日志,发现报错如下:

 

问题分析:

1、经查询日志,报错的位置在做更新的代码前面,可以推断出与本次更新无关。但甲方坚持与本次更新有关,所以我们将之前备份的包进行了还原,结果手动运行发现还是有这个问题。

2、延长请求request请求的超时时间,服务端发现运行一段时间后就会出现timeout问题,但是初步说明延长超时时间可以初步解决这个问题,但是在运行几年可能还是不行。

3、分析代码,发现此处在循环中会发出大批量请求给服务端,然后服务端会对每个请求做出耗时处理,时间较长。到此处已经基本上定位出来了问题。服务端大量挂起客户端请求,直到超时。

解决方案:

1、优化请求程序,给需要发送的数据做日期限制,防止全量数据的发出。

2、上面的方案已经完全解决问题了,但是可以在探索下完善的方案:比如在服务端添加redis队列缓存请求,然后依次对请求进行处理。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值