记一次Java程序导致的linux句柄泄露（too many open files）

最新推荐文章于 2024-09-26 17:07:29 发布

哇卡哇卡aaa

最新推荐文章于 2024-09-26 17:07:29 发布

阅读量2.3k

点赞数 1

文章标签： java linux tomcat

本文链接：https://blog.csdn.net/weixin_48493949/article/details/127328970

版权

一、问题描述

二、排查问题原因

三、句柄泄露问题解决方案总结：

一、问题描述

生产服项目运行了很久了，突然有一天访问失败，查看日志发现报错信息如下

14-Oct-2022 10:09:34.728 WARNING [Catalina-utility-1] org.apache.catalina.users.MemoryUserDatabase.backgroundProcess Failed to close [conf/tomcat-users.xml]
    java.io.FileNotFoundException: /home/btfb/btfbServer/conf/tomcat-users.xml (Too many open files)
    	at java.io.FileInputStream.open(Native Method)
    	at java.io.FileInputStream.<init>(FileInputStream.java:131)
        at java.io.FileInputStream.<init>(FileInputStream.java:87)
        at sun.net.www.protocol.file.FileURLConnection.connect(FileURLConnection.java:90)
        at sun.net.www.protocol.file.FileURLConnection.getInputStream(FileURLConnection.java:188)
        at org.apache.catalina.users.MemoryUserDatabase.backgroundProcess(MemoryUserDatabase.java:685)
        at org.apache.catalina.realm.UserDatabaseRealm.backgroundProcess(UserDatabaseRealm.java:143)
        at org.apache.catalina.realm.CombinedRealm.backgroundProcess(CombinedRealm.java:301)
        at org.apache.catalina.core.ContainerBase.backgroundProcess(ContainerBase.java:1137)
        at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.processChildren(ContainerBase.java:1353)
        at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.run(ContainerBase.java:1335)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

从字面意思看就是文件打开太多了，此时怀疑是句柄超多最大值了

二、排查问题原因

查看linux最大句柄数：ulimit -a，其中open files就是linux设置的最大句柄数（默认1024）

也可以直接使用ulimit -n

查询句柄数是被哪个进程占了（第一列是句柄数，第二列是进程号）：

lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more

查看占用句柄量高的是什么应用：ps -ef|grep 22186（22186为进程号）

如上图可以看出是Tomcat占用了大量句柄，并且此Tomcat为生产Tomcat，不能直接关闭，因此排查项目代码中是否有未关闭的IO流或者未关闭的连接等，通过排查发现最近写了一个使用snmp推送消息的接口，并且此接口是做的定时任务，每半个小时调用一次，由于是第一次接触snmp，所有忘了关闭连接，结果导致句柄泄露

三、句柄泄露问题解决方案总结：

其实Linux是有文件句柄限制的，而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到这个数量，因此我们需要把这个值改大一些。我们可以用ulimit -n 来查看当前用户句柄数限制。那么这个1024是系统的限制，还是用户的限制呢。其实，这个是用户限制来的，完整的说法，应该是当前用户准备要运行的程序的限制。

情况一：服务器句柄数确实不够用，增大文件句柄数

增大文件句柄数。这种方式能及时解决问题，但是不能够彻底的解决问题，可以为彻底解决问题提供一定的时间保证。那么如何增大文件句柄数数呢？

如修改文件句柄数为65535，ulimit -n 65535.此时系统的文件句柄数为65535.

2)将ulimit 值添加到/etc/profile文件中(适用于有root权限登录的系统)

为了每次系统重新启动时，都可以获取更大的ulimit值，将ulimit 加入到/etc/profile 文件底部。

echo ulimit -n 65535 >>/etc/profile

source /etc/profile #加载修改后的profile

ulimit -n #显示65535，修改完毕！

到此为止，你以为大功告成了么，其实不然，突然发现自己再次登录进来的时候，ulimit的值还是1024，这是为什么呢？用户登录的时候执行sh脚本的顺序：

/etc/profile.d/file

/etc/profile

/etc/bashrc