fs.inotify.max_user_watches默认值太小,导致too many open files

看到too many open files可能想到fs.file-max参数,其实还受下面参数影响:

fs.inotify.max_queued_events:表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。

fs.inotify.max_user_instances:表示每一个real user ID可创建的inotify instatnces的数量上限,默认128.

fs.inotify.max_user_watches:表示同一用户同时可以添加的watch数目(watch一般是针对目录,决定了同时同一用户可以监控的目录数量)

建议修改系统默认参数,方法如下(vi /etc/sysctl.conf):

fs.inotify.max_user_instances=8192

注意: max_queued_events 是inotify管理的队列的最大长度,文件系统变化越频繁,这个值就应该越大。如果你在日志中看到Event Queue Overflow,说明max_queued_events太小需要调整参数后再次使用。

关于重启inotify配置max_user_watches无效被恢复默认值8192的正确修改方法

一般网上修改方法就是直接修改文件:

/proc/sys/fs/inotify/max_user_watches

或者修改方法:

sysctl -w fs.inotify.max_user_watches="99999999"

但是这些修改后,Linux系统重启inotify配置max_user_watches无效被恢复默认值8192,这个可能很多的新手不是很明白,这个不详细讲解,有空大家去了解下:sysctl

Linux系统重启inotify配置max_user_watches无效被恢复默认值8192的正确修改方法为:

vim /etc/sysctl.conf 

注意添加的内容:

fs.inotify.max_user_watches=99999999(你想设置的值)

haole ,好了,很简单。。

在Linux中打开了太多文件(Too many open files)的解决方法


回答一、

[root@lxadmin nginx]# cat /proc/sys/fs/file-max
8192
文件系统最大可打开文件数
[root@lxadmin nginx]# ulimit -n
1024
程序限制只能打开1024个文件
使用[root@lxadmin nginx]# ulimit -n 8192调整一下
或者永久调整打开文件数 可在启动文件/etc/rc.d/rc.local末尾添加(在/etc/sysctl.conf末尾添加fs.file-max=xxx无效)

ulimit -n 8192

回答二、

Linux内核有时会报告“Too many open files”,起因是file-max默认值(8096)太小。要解决这个问题,可以root身份执行下列命令(或将它们加入/etc/rcS.d/*下的init脚本。)

# echo "65536"  > /proc/sys/fs/file-max  # 适用于2.2和2.4版内核
# echo "131072" > /proc/sys/fs/inode-max # 仅适用于2.2版内核

回答三、

办法是修改操作系统的打开文件数量限制,方法如下:

1. 按照最大打开文件数量的需求设置系统, 并且通过检查/proc/sys/fs/file-max文件来确认最大打开文件数已经被正确设置。 
# cat /proc/sys/fs/file-max
如果设置值太小, 修改文件/etc/sysctl.conf的变量到合适的值。 这样会在每次重启之后生效。 如果设置值够大,跳过下步。 
# echo 2048 > /proc/sys/fs/file-max
编辑文件/etc/sysctl.conf,插入下行。 
fs.file-max = 8192

2. 在/etc/security/limits.conf文件中设置最大打开文件数, 下面是一行提示: 

添加如下这行。 
* - nofile 8192

这行设置了每个用户的默认打开文件数为2048。 注意"nofile"项有两个可能的限制措施。就是项下的hard和soft。 要使修改过得最大打开文件数生效,必须对这两种限制进行设定。 如果使用"-"字符设定, 则hard和soft设定会同时被设定。 
硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。 hard限制值可以被普通用户降低。但是不能增加。 soft限制不能设置的比hard限制更高。 只有root用户才能够增加hard限制值。 
当增加文件限制描述,可以简单的把当前值双倍。 例子如下, 如果你要提高默认值1024, 最好提高到2048, 如果还要继续增加, 就需要设置成4096。

另外一种情况是在创建索引的时候,也有两种可能,一种是 合并因子太小,导致创建文件数量超过操作系统限制,这时可以修改合并因子,也可以修改操作系统的打开文件数限制;另外一种是合并因子受虚拟机内存的限制,无法调整到更大,而 需要索引的doc 数量又非常的大,这个时候就只能通过修改操作系统的打开文件数限制来解决了。

在此基础上,我还修改了以下一个配置文件
vi /etc/sysctl.conf 
添加:
# Decrease the time default value for tcp_fin_timeout connection
net.ipv4.tcp_fin_timeout = 30
# Decrease the time default value for tcp_keepalive_time connection
net.ipv4.tcp_keepalive_time = 1800
# Turn off tcp_window_scaling
net.ipv4.tcp_window_scaling = 0
# Turn off the tcp_sack
net.ipv4.tcp_sack = 0
#Turn off tcp_timestamps
net.ipv4.tcp_timestamps = 0
然后 service network restart,这些都和TCP sockets有关的优化。

另外需要在 /etc/rc.d/rc.local里添加已使得重启的时候生效。
echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps
因为不是所有的程序都在root下跑的,所有linux有对hard 与soft open files 的区分,普通用户受hard的限制,无论ulimit -n $数值调到多高,都跑不到 /etc/security/limits.conf里nofile的值.

这样的优化后 lsof -p $java_pid|wc -l可以跑到4千以上都不会抛出too many open files。

  • 4
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
增加fs.inotify.max_user_watches上限可以允许更多的文件监控事件被同时监听。文件监控事件通常在文件系统中的文件或目录发生变化时触发,如创建、修改、删除等操作。当达到默认的上限时,系统将无法继续添加更多的监控事件。 如果增加该上限,可能会带来以下后果: 1. 更多的文件监控事件能被同时监听:增加上限可以允许更多的文件监控事件被监听,这对于一些需要同时监控大量文件或目录变化的应用程序来说是非常有用的。 2. 更多的系统资源消耗:每个文件监控事件都需要占用一定的系统资源,包括内存和CPU。因此,增加上限可能会导致系统资源的消耗增加,特别是在同时监听大量文件变化时。 3. 性能影响:当监听的文件事件数量增加时,系统需要更多的资源来处理这些事件。如果上限设置过高,可能会导致系统性能下降,特别是在资源有限的情况下。 4. 可能会导致内核崩溃:如果上限设置过高,可能会导致内核因为资源不足而崩溃。因此,在增加fs.inotify.max_user_watches上限之前,需要对系统资源进行评估,并确保足够的资源可用。 总之,增加fs.inotify.max_user_watches上限可以提供更多的文件监控事件监听能力,但需要权衡系统资源的消耗和性能影响。在进行设置之前,建议进行系统资源评估和性能测试,以确保系统能够正常运行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值