记录一次产线502错误

最新推荐文章于 2023-03-22 07:43:58 发布

JohnGox

最新推荐文章于 2023-03-22 07:43:58 发布

阅读量801

点赞数

文章标签：后端 http

本文链接：https://blog.csdn.net/LngZd/article/details/115274528

版权

产线服务在22:00出现502 Bad Gateway错误，经过排查确定为Tower服务挂掉，原因是磁盘空间满。日志文件大小达15G，清理日志文件并重启服务后恢复正常。目前tower服务无高可用方案，且未进行容器化改造。建议申请更多服务器资源，实现服务冗余，设置资源监控告警，并定期清理日志。

摘要由CSDN通过智能技术生成

问题

晚上22:00，产线告警，一个产线服务无法访问，每个请求都报502错误。

<html>
<head><title>502 Bad Gateway</title></head>
<body>
<center><h1>502 Bad Gateway</h1></center>
<hr><center>******</center>
</body>
</html>

分析

数据链路示意图：

在这里插入图片描述

MaShang 码商业务服务，处理具体的业务逻辑
Proxy 代理服务器，通过专线将请求发送到国内的聚石塔服务器
Tower 天猫聚石塔内的服务，主要用于签名并转发请求给Tmall服务
Token 更新token
Tmall 淘宝官方的服务

从产线日志来看，可以排除是代理服务器Proxy的问题。根据经验，线上502多数是由于后端服务挂掉导致的，网关后面是tower服务。登录产线服务器，果真是tower服务器挂了，并且重启tower服务失败。cpu和内存的使用量都正常，再查看磁盘空间，磁盘空间满了。查找大文件，日志足足有15G，真正原因可算找到了。这台服务器是低配版的云服务器，磁盘空间有限。