Linux服务器出现大量的CLOSE_WAIT的问题

Linux服务器出现大量的CLOSE_WAIT的问题

Linux服务器tcp socket常见的几种状态：ESTABLISHED、TIME_WAIT、CLOSE_WAIT。

TCP协议中描述，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。

提供网络服务时，需要特别关注两种状态：CLOSE_WAIT和TIME_WAIT。如果过多，可能导致socket资源耗尽，无法正常提供服务。

ESTABLISHED：表示正在socket通信。

TIME_WAIT：表示请求的客户端主动关闭socket而形成的状态。等待2MSL时间，约4分钟。主要是防止最后一个ACK丢失。由于TIME_WAIT的时间会非常长，因此服务端应尽量减少主动关闭连接。

之所以设计TIME_WAIT状态，是为了考虑ACK丢失的情况发生，服务端将重发FIN，客户端必须维护TCP状态信息以便可以重发最终的ACK，否则会发送RST，结果服务端认为发生错误。

CLOSE_WAIT：表示服务端被动关闭socket。根据TCP状态机，服务器端收到客户端发送的FIN，则按照TCP实现发送ACK，因此进入CLOSE_WAIT状态。但如果服务器端不执行close()，就不能由CLOSE_WAIT迁移到LAST_ACK，则系统中会存在很多CLOSE_WAIT状态的连接。

我就碰到了Linux服务器出现大量的CLOSE_WAIT后，服务无法继续正常服务，socket资源被耗尽。因为Linux分配给一个用户的文件句柄是有限的，而TIME_WAIT和CLOSE_WAIT两种状态如果一直被保持，则文件句柄也就不能close，导致句柄资源达到上线，接着就会出现大量Too Many Open Files错误。

如果出现大量CLOSE_WAIT，首先需要考虑程序是否有BUG，是否有socket泄露（遗漏close()）。

查看当前系统中的tcp socket状态信息：

# netstat -n | awk '/^tcp/ {++X[$NF]} END {for(i in X) print i, X[i]}'?

另外一个命令：lsof

搜索系统中IP为192.168.100.20的远程链接所有打开的套接字：

# lsof -i@192.168.100.20