现象:
程序运行一段时间后socket无法新建
问题排查:
问题1:sockect泄漏查看
初步怀疑socket释放有问题造成泄露,使用cat /proc/net/sockstat命令查看socket使用情况,结果没有异常。
$ cat /proc/net/sockstat
sockets: used 100
TCP: inuse 17 orphan 0 tw 0 alloc 26 mem 7
UDP: inuse 12 mem 3
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0
说明:
sockets: used:已使用的所有协议套接字总量
TCP: inuse:正在使用(正在侦听)的TCP套接字数量。
TCP: orphan:无主(不属于任何进程)的TCP连接数(无用、待销毁的TCP socket数)
TCP: tw:等待关闭的TCP连接数。
TCP:alloc(allocated):已分配(已建立、已申请到sk_buff)的TCP套接字数量。
TCP:mem:套接字缓冲区使用量
UDP:inuse:正在使用的UDP套接字数量
RAW:
FRAG:使用的IP段数量
问题二:文件描述符泄露
然后考虑是否是其他的文件描述符泄露了导致socket无法新建(socket本身也是一种描述符),使用cat /proc/sys/fs/file-nr命令查看系统描述符使用情况。
$ cat /proc/sys/fs/file-nr
420 0 48729
说明:
第一个数据:已分配文件句柄的数目
第二个数据:已分配未使用文件句柄的数目
第三个数据:文件句柄的最大数目
最终发现,已分配文件句柄的数目,随着程序的运行值越来越大。
总结原因:
单个进程能打开文件描述符的数量是有限的,当打开一定数量后将无法新建。
扩展:
可以使用ulimit命令查看单个进程能打开的最大描述符数量限制和其他的一些限制。
ulimit -a