项目中,遇到了一个几百次重复操作后,进程挂起的问题,很急就去最后看。
调查原因是由于Open文件太多,导致无法继续Open。
提示“too many open files”。
百度后,得到如下指令:
xxxxxx@xxxxxxxxxxxxxx:~$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 63061
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 63061
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
通过上面结果可以看到,open files为1024。
使用下面指令,可以修改open files的数量:
xxxxxx@xxxxxxxxxxxxxx:~$ ulimit -n 4096
xxxxxx@xxxxxxxxxxxxxx:~$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 63061
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 4096
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 63061
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
open files确实被修改为4096了,继续测试,依然再现。
又查到了如下修改方法(反正不好使,引用一下):
Linux系统中limits.conf解释及应用_ZOMBIE86_51CTO博客
最后,我发现每个进程都有自己的limits文件,查看方式如下:
cat /proc/<pid>/limits
xxxxxx@xxxxxxxxxxxxxx:/proc/1311$ cat limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 63061 63061 processes
Max open files 1024 1048576 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 63061 63061 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
这个文件中,是进行的limits数量,使用上述两个方法都无法修改,依旧是1024。
放大招……
其实在systemd启动进程时,可以设置这个进程的limits值,所以如下想针对进行修改,需要在进程的service文件中追加下面这行:
LimitNOFILE=4096
一切就都改好了,重启机器看看效果吧。