一、 故障现象
部分机顶盒用户出现大面积登录APP时,界面停留在登陆页面,无反应。
二、现象初步分析
本次问题出现时,所有AAA出现了异常流量波动,在AAA异常流量段期间接到用户故障报障。此时主要表现在LVS集群显示真实的EPG 服务器不停的被踢出集群和加入(UP/DOWN),导致了用户调度到EPG后出现了异常显示。
AAA异常流量图
三、问题排查过程
接到故障后第一时间对AAA/EPG后台日志进行了查看,发现用户接入认证和响应都正常,观察到EPG 的LVS集群中有服务器的inactive连接数异常并且随机出现不同EPG服务器被踢出和加入集群,随后对EPG 的LVS集群的状态进行了跟踪和抓包分析,为了快速恢复业务随后重启了EPG tomcat并进行了LVS的主备切换,业务故障恢复。
四、诊断分析结果
出现故障时通过LVS的日志可以看到5台EPG服务器在轮询的出现连接失败和连接成功的情况,也就是一台OK后,另一台出现连接失败,如此反复的表现在5台EPG服务器上
此时被UP/DOWN的EPG会出现大量的inactive
此时对集群出现UP/DOWM的服务器进行抓包,发现客户端发出了SYN报
文,但是EPG服务器没有响应,并且响应报文发不出去不停的retransmission。