本文描述了一台Redis服务器遇到socket数量告警的问题，通过netstat、ss命令检查，发现大量closed连接且文件句柄存在泄漏。使用lsof命令定位到问题出在Java进程（Flume）上，疑似FD泄漏。尽管调整系统最大打开文件数并未解决问题，最终通过查看Flume日志发现是由于Kafka集群扩容，新增节点未开放对特定机房的访问权限，导致问题发生。
今天发现有台redis机器上出现socket个数告警，这是很奇怪的现象。因为一台redis服务器上就部署了几个redis实例，打开的端口应该是有限。
1、netstat显示的tcp连接数正常
netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'
TIME_WAIT 221
ESTABLISHED 103
netstat -nat |wc -l
368
建立的tcp连接数并不是很多。
2、ss -s显示大量的closed连接
ss -s
Total: 158211 (kernel 158355)
TCP: 157740 (estab 103, closed 157624, orphaned 0, synrecv 0, timewait 173/0), ports 203
Transport Total IP IPv6
* 158355 - -
RAW 0 0 0
UDP 9 6 3
TCP 116 80 36
INET 125 86 39
FRAG 0 0 0
closed 157624，很多socket是处于closed状态。
而我的系统监控取值方法是:
cat /proc/net/sockstat | grep sockets | awk '{print $3}'
158391
cat /proc/net/sockstat
sockets: used 158400
TCP: inuse 89 orphan 2 tw 197
最低0.47元/天 解锁文章
1656
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
