linux socket资源耗尽,TCP的socket资源被耗尽的问题

一、 故障现象

部分机顶盒用户出现大面积登录APP时，界面停留在登陆页面，无反应。

二、现象初步分析

本次问题出现时，所有AAA出现了异常流量波动，在AAA异常流量段期间接到用户故障报障。此时主要表现在LVS集群显示真实的EPG 服务器不停的被踢出集群和加入(UP/DOWN)，导致了用户调度到EPG后出现了异常显示。

AAA异常流量图

三、问题排查过程

接到故障后第一时间对AAA/EPG后台日志进行了查看，发现用户接入认证和响应都正常，观察到EPG 的LVS集群中有服务器的inactive连接数异常并且随机出现不同EPG服务器被踢出和加入集群，随后对EPG 的LVS集群的状态进行了跟踪和抓包分析,为了快速恢复业务随后重启了EPG tomcat并进行了LVS的主备切换，业务故障恢复。

四、诊断分析结果

出现故障时通过LVS的日志可以看到5台EPG服务器在轮询的出现连接失败和连接成功的情况，也就是一台OK后，另一台出现连接失败，如此反复的表现在5台EPG服务器上

此时被UP/DOWN的EPG会出现大量的inactive

此时对集群出现UP/DOWM的服务器进行抓包，发现客户端发出了SYN报

文，但是EPG服务器没有响应，并且响应报文发不出去不停的retransmission。