activeMQ发送消息失败或超时 导致的504超时的问题

本文介绍了如何定位和解决一个会员服务membership模块的超时问题。通过前端调试发现504错误,进一步分析nginx日志确认后端服务响应超时。检查9301端口发现大量连接,日志显示特定IP的定期请求导致服务僵死。最后,发现是本地监控应用每五分钟发起一次请求,未释放连接,重启服务并修复配置问题后恢复正常。
摘要由CSDN通过智能技术生成

测试环境 membership 模块超时60s 问题定位步骤如下:

step1: 前端 debug 时查看到了504的响应-----(发现问题)

问题分析 nginx访问出现504 Gateway Time-out,一般是由于程序执行时间过长导致响应超时,例如程序需要执行60秒,而nginx最大响应等待时间为30秒,这样就会出现超时。

step2:查看nginx log ==> access.log <== 10.7.0.13 - - [15/May/2020:16:42:19 +0800] 10.7.00.13:9301 60.001 60.001 ars-beta.test_webcn-la.com POST /api/gc/membership/tier/getMembershipTierByTest HTTP/1.1 "504" 705 "-" "-" "Apache-HttpClient/4.5.3 (Java/1.8.0_144)" 可以看到nginx也是504的状态,于是可以查看后端对应的服务是10.7.00.13:9301 可以使用curl 来验证一下服务是否正常:curl -I http://localhost:9301/test.html

step3:查看9301端口状态:

wc -l 查看后大概有117个左右的连接,平时只有以下这样的情况

step4:结合业务查看membership.controller 的access.log(本日志记录了所有与本服务交互的请求处理), 查看调用请求的整个过程,有两个惊人发现:第一个是红框里面的ip, 第二个是红框里面的当前请求线程名称

step5: 第一个红框的的ip 居然是我自己的ip, 这下子问题定位了,因为我本地有在请求membership 服务,并且是python开发的监控服务是否正常的应用所发出的请求。

step6: 结论为:因为我本机在每五分钟(从上面的请求日志间隔可以窥探到)请求一次membership 服务的接口,用于保障beta环境的可用性验证,最终因为请求的membership 服务连接一直不能释放导致了membership 服务僵死掉。 查看9301端口状态时,存在这两个状态,说明如下:

step7: 解决方案:重新重启了服务就恢复了,不过还发现了mq 地址变更但代码配置里面未变更的问题并让开发修复,算是意外的收获。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值