too many open files引起的宕机问题

部分内容摘抄自 https://blog.csdn.net/qq_18581221/article/details/80963741

一、问题的基本描述、原因、解决方案

在这里插入图片描述
出现这个错误原因是打开文件数(Linux一切皆文件,所以打开文件数包含文件和Socket连接数)超过Linux设置的最大数;
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、实际遇到的案例

1. 问题分析

以上内容都是摘抄自上面的博文;大概描述了下问题,我这边就不做自行描述了,也提供了一些利用配置的解决方案;

下文我这边会举一个实际场景遇到的问题,进行排查分析;
too many open files, 如果是真的资源需要这么多,提供修改配置是可以解决的;
但是我们要考虑一种句柄泄漏的情况;比如下述案例:
某服务宕机出现的too many open files 的报错。
在这里插入图片描述
重启下服务就好了;有其他同事已调整过句柄参数,比如unlimit这些,但是后面几天该服务还是出现了一样的问题;
说明了什么?
说明了无论你调整为多大,随着服务的运行,句柄数始终是会吃完的;那么就是程序存在这种句柄泄漏;比如 文件流没关闭,socket没关闭等;类似于数据库连接泄漏,connection没关闭;类似于redis连接没关闭等造成的泄漏;

如何排查:
直接将当时的句柄使用情况打印出来,查看句柄占用情况,lsof >a, 即将linux服务器的句柄使用情况打印到a文件;
如图,基本上是 mobile.properties 这个文件导致的,说明某个地方打开了这个文件,但是IO流程并没关闭,导致的句柄泄漏;

在这里插入图片描述

而我们的报错信息正好是涉及mobile.properties这个文件的,当然这个地方是巧合,可能是这个地方的文件读的相对频繁,其他的文件没读,甚至么有,所以刚刚好这个报错体现出来; 假设一个系统的运行可能无时无刻的都在打开文件 关闭文件,那么一旦句柄泄漏完了,可能会出现各种各样的报错,并不会让我们查到报错就是涉及这个文件的;
在这里插入图片描述

那我们进一步查看上述代码的堆栈,发现,fis首先是没有关闭,且最安全的方式是finnally里面关闭;
这个地方fis重复引用也是文件,会导致泄漏;
在这里插入图片描述

2. 解决方案:

上述代码修复关闭即可;

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
要解决"too many open files"的问题,可以从两个方面入手:修改系统配置和从程序层面解决。 首先,我们可以尝试修改系统的配置信息。根据引用所述,Linux系统维护了一个open files table来记录当前打开的文件信息,这个表有一个最大容量限制。如果超过这个限制,系统会拒绝其他文件操作并报错"Too many open files"。因此,我们可以通过修改系统配置来增加open files table的容量。 具体来说,可以通过修改Linux系统的文件描述符限制来提高open files table的容量。可以使用命令ulimit来查看和修改文件描述符限制。首先,使用ulimit -n命令查看当前文件描述符的限制。然后,根据实际需求,可以使用ulimit -n <new_limit>命令将文件描述符限制设置为一个较大的值。 除了修改系统配置,我们还可以从程序层面解决这个问题。引用提到,要复现这个问题通常需要一定的业务量和运行一段时间,才能达到系统的阈值。因此,我们可以通过优化程序的资源管理来避免打开过多的文件。 可以尝试以下几种方法来解决这个问题: 1. 确保在程序中正确关闭所有打开的文件。在程序运行结束或不再需要打开的文件时,及时关闭文件。 2. 使用文件池或缓存来管理文件的打开和关闭。通过维护一个固定大小的文件池,在需要访问文件时,从池中获取可用的文件句柄,使用完毕后将文件句柄放回池中。 3. 优化程序的资源使用。检查程序中是否存在资源泄漏或重复打开文件的情况,及时释放不再使用的资源。 综上所述,要解决"too many open files"的问题,可以通过修改系统配置来增加open files table的容量,以及从程序层面优化资源管理来避免打开过多的文件。这样可以提高系统的稳定性和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值