跟踪Linux进程打开文件数和解决方法

1,如何查看当前的进程打开的文件个数(这个数是实时波动) 下面以ccps为例说明
1)取得程序对应的PID(进程号)
ps –ef | grep ccps 执行
[root@vvmocmp1 ccps]# ps -ef | grep ccps
root 5661 1 0 20:33 pts/2 00:00:00 /bin/sh /opt/OC/ccps/jboss-4.2.3.GA/bin/run.sh -c all -g ccpsgroup -b 0.0.0.0
root 5685 5661 94 20:33 pts/2 00:00:17 /usr/java/jdk1.6.0_13/bin/java -Dprogram.name=run.sh -server -Dcom.sun.management.jmxremote -Djava.awt.headless=true -Xms1024m -Xmx1024m -XX:PermSize=64m -XX:MaxPermSize=256m -Djava.util.logging.config.file=/opt/OC/ccps/jboss-4.2.3.GA/server/all/ccps/applicationContext/logging.properties -Xrunjdwp:transport=dt_socket,address=8787,server=y,suspend=n -Djava.net.preferIPv4Stack=true -Djava.endorsed.dirs=/opt/OC/ccps/jboss-4.2.3.GA/lib/endorsed -classpath /opt/OC/ccps/jboss-4.2.3.GA/server/all/ccps/applicationContext:/opt/OC/ccps/jboss-4.2.3.GA/bin/run.jar:/usr/java/jdk1.6.0_13/lib/tools.jar org.jboss.Main -c all -g ccpsgroup -b 0.0.0.0
从上可知道，当前的ccps进程所有者是root, pid为5685.
2) 用取得pid号，来实时取得此进程打开的文件数
ls -l /proc/5685 /fd/ | wc -l
(注意：网上所说的用lsof -p pid，可以查询进程打开的文件数，但通过实验，不准确
真正的是前者可以实时反应，当超过ulimit -n值后，马上出现 too many open files 错误）
同时root用户也受到ulimit的限制
在当前session用ulimit -n可以查看当前用户的限制，默认为1024
2，查看当前用户的进程最大打开文件数限制（ulimit –n 默认为1024），也可以用limit –a查看
[root@vvmocmp1 ~]# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
pending signals (-i) 1024
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 143359
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
3,修改用户的最大打开文件数
在/etc/security/limits.conf这个文件中添加，
root soft nofile 500
root hard nofile 500
说明： 实验目的是为了让root 的ccps进程出现too many open files.这里故意很小500
因为ccps所有者是root, 所设置root用户。
设置后，要重新用root用户登录server, 这时修改已生效，可以用ulimit –n查看
4，一定在3步骤重新登录的session中，启动ccps,这样ccps的同一时打开的文件一旦超过500就会出错。
[root@vvmocmp1 ccps]# tail -f ./log/ccps.log
at org.springframework.util.MethodInvoker.invoke(MethodInvoker.java:270)
at org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean$MethodInvokingJob.executeInternal(MethodInvokingJobDetailFactoryBean.java:224)
at org.springframework.scheduling.quartz.QuartzJobBean.execute(QuartzJobBean.java:86)
at org.quartz.core.JobRunShell.run(JobRunShell.java:203)
at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:520)
Caused by: java.io.IOException: java.io.IOException: error=24, Too many open files
at java.lang.UNIXProcess.<init>(UNIXProcess.java:148)
at java.lang.ProcessImpl.start(ProcessImpl.java:65)
at java.lang.ProcessBuilder.start(ProcessBuilder.java:452)
... 13 more
[12-22 20:38:20,564] WARN [DefaultQuartzScheduler_Worker-8] SystemResourceMonitor.updateDiskInfoMap(826) | Can't execute "/bin/df -lP /var/opt/OC/ccps/cdr/local/" command
java.io.IOException: Cannot run program "/bin/df": java.io.IOException: error=24, Too many open files
at java.lang.ProcessBuilder.start(ProcessBuilder.java:459)
at java.lang.Runtime.exec(Runtime.java:593)
at java.lang.Runtime.exec(Runtime.java:431)
at java.lang.Runtime.exec(Runtime.java:328)
at com.hp.opencall.ccps.ccs.performance.SystemResourceMonitor.updateDiskInfoMap(SystemResourceMonitor.java:824)
而这个时候的ls –l查看的在500左右，而用lsof –p查看的却800多了没有出错。
[root@vvmocmp1 ccps]# ls -l /proc/5685/fd/ | wc -l
489

说明：测试完后，一定要把上面添加的两行去掉。

from： http://blog.chinaunix.net/uid-26364035-id-3163595.html