项目LINUX运行过程中 句柄数过高too many file open XXXX 排查

      最新项目部署在Linux上报too many filetoo many file open  XXXX ，以及少许的 socket open timeout,百思百思不得其解，痛苦万分。启用万能大招，项目重启，暂解燃眉之急。

   痛定思痛，潜心研究，有所收获，这种情况大是因为linux 文件句柄数满掉引起的。总结分享给大家，以免大家收祸害。

   linux操作系统默认的句柄数为1024。但是1024的句柄数在大部分情况下也是够用的。然而服务器的open files 已经设置为65534，说明虚机设置没问题，说明是有应用没有开始了资源文件没有关闭。

 # 查询操作系统的句柄数：ulimit  -n 或者 ulimit -a

[root@CN07ATT01NGX01V admin]# ulimit -n
65534
[root@CN07ATT01NGX01V admin]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 14996
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65534
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 14996
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

  #查看当前系统进程打开的句柄数和进程ID(其中第一列是打开的句柄数，第二列是进程ID)：

lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more

 

   .

# 然后运行：ps -ef|grep 50527 （其中50527 上图到的pid)，查询进程的详细内容。

#查看选定应用的句柄详情：ls -l /proc/50527 /fd/

                                             ls -l /proc/50527 /fd/| wc -l

                                            ls -l /proc/50527 /fd/|grep XX |wc -l

# 如果是java系统的，则可以使用jdk自带的线程导出工具，把全部的线程导出：

jstack -l 50527 >> /usr/local/Client/log50527 .log     （其中50527 换为实际的pid）

然后用记事本打开这个文件，看看哪个线程数最高+结合实际业务情况判断是哪段代码出问题了