java.net.SocketException: Too many openfiles错误,一直很头疼,困扰了我很久,今天google了一下,看到了很多种解释,后来才知道linux对进程的打开文件数是有限制的。
- lsof
-p 12349 查看链接数,12349是tomcat的进程 - lsof
-P 12349|wc -l
- ulimit
-u 查看open files设置 - ulimit
-a 查看所有设置 - ulimit
-u 65535(新的open files 值)修改设置 - ulimit
-n 65536 设置用户可以同时打开的最大文件数(max open files) -
- 如果本参数设置过小,对于并发访问量大的网站,可能会出现too
many open files的错误 - 使用lsof
-p pid [httpd进程的 pid、java的pid]来查看系统中apache进程和java运行时进程当前打开的文件资源,发现两者之和已经接近1024,大于了默认的设置。 -
- 修改配置:
-
- 修改/etc/security/limits.conf,在文件末加上
- *
soft nofile 65536 - *
hard nofile 65536 -
- 系统级文件描述符极限还可以通过将以下三行添加到
/etc/rc.d/rc.local 启动脚本中来设置: - #
Increase system-wide file descriptor limit. - echo
65536 > /proc/sys/fs/file-max - echo
65536 > /proc/sys/fs/inode-max
用命令ulimit -a查看
[root@test security]# ulimit -a
core filesize
data segsize
filesize
max lockedmemory
max memorysize
open
pipesize
stacksize
cputime
max userprocesses
virtualmemory
[root@test security]#
通过以上命令,我们可以看到open
对于并发量比较大的网站这个限制是有些捉襟见肘的,所以我通过这个命令
ulimit -n 4096
把打开文件数的上限设为了4096,这下好了,项目又稳定了
没想到过两天后又重新出这个错误了,郁闷,两个小时报一次,报之后就挂掉了
在重新用ulimit -a查看,发现open
报这个错误就在我那次登陆更新之后又报的,原来ulimit -n 4096 命令只能临时的改变open
重新登陆后又会恢复,所以需要永久设置open
修改/etc/security/limits.conf 添加如下一行:
* - nofile 1006154
修改/etc/pam.d/login添加如下一行
session required /lib/security/pam_limits.so
这次永久修改后程序就再没那个问题了,一直稳定运行。
另外遇到这个问题这后还需要检查我们的程序对于操作io的流是否在操作完之后关闭,这才是从最更本上的解决。
lsof命令是什么?
可以列出被进程所打开的文件的信息。被打开的文件可以是
1.普通的文件,2.目录 3.网络文件系统的文件,4.字符设备文件 5.(函数)共享库 6.管道,命名管道 7.符号链接
8.底层的socket字流,网络socket,unix域名socket
9.在linux里面,大部分的东西都是被当做文件的…..还有其他很多
怎样使用lsof
这里主要用案例的形式来介绍lsof 命令的使用
1.列出所有打开的文件:
lsof
备注: 如果不加任何参数,就会打开所有被打开的文件,建议加上一下参数来具体定位
2. 查看谁正在使用某个文件
lsof /filepath/file
3.递归查看某个目录的文件信息
lsof +D /filepath/filepath2/
备注: 使用了+D,对应目录下的所有子目录和文件都会被列出
4. 比使用+D选项,遍历查看某个目录的所有文件信息 的方法
lsof | grep ‘/filepath/filepath2/’
5. 列出某个用户打开的文件信息
lsof -u username
备注: -u 选项,u其实是user的缩写
6. 列出某个程序所打开的文件信息
lsof -c mysql
备注: -c 选项将会列出所有以mysql开头的程序的文件,其实你也可以写成 lsof | grep mysql, 但是第一种方法明显比第二种方法要少打几个字符了
7. 列出多个程序多打开的文件信息
lsof -c mysql -c apache
8. 列出某个用户以及某个程序所打开的文件信息
lsof -u test -c mysql
9. 列出除了某个用户外的被打开的文件信息
lsof -u ^root
备注:^这个符号在用户名之前,将会把是root用户打开的进程不让显示
10. 通过某个进程号显示该进行打开的文件
lsof -p 1
11. 列出多个进程号对应的文件信息
lsof -p 123,456,789
12. 列出除了某个进程号,其他进程号所打开的文件信息
lsof -p ^1
13 . 列出所有的网络连接
lsof -i
14. 列出所有tcp 网络连接信息
lsof -i tcp
15. 列出所有udp网络连接信息
lsof -i udp
16. 列出谁在使用某个端口
lsof -i :3306
17. 列出谁在使用某个特定的udp端口
lsof -i udp:55
特定的tcp端口
lsof -i tcp:80
18. 列出某个用户的所有活跃的网络端口
lsof -a -u test -i
19. 列出所有网络文件系统
lsof -N
20.域名socket文件
lsof -u
21.某个用户组所打开的文件信息
lsof -g 5555
22. 根据文件描述列出对应的文件信息
lsof -d description(like 2)
23. 根据文件描述范围列出文件信息
lsof -d 2-3