linux磁盘文件删除磁盘空间未释放问题排查

背景

向友商采买数据,使用友商提供的sdk上传原始文件过去(串行),友商处理好会把结果文件下载链接返回回来

问题发现

向友商发送原始数据1.5h之后发现机器磁盘使用率增长明显不正常,于是开始查找原因;

  1. 排查发现日志文件增量明显没有那么大的体积
  2. 使用 du -h --max-depth=1 /home 命令查看没有发现异常
  3. 怀疑是下载到本地的原始文件没有删除导致,查看本地文件路径发现文件夹内没有文件
  4. 紧急拉运维同学查看后,lsof |grep deleted 发现存在45多个处于 deleted状态的删除文件进程卡在那里,定位到文件删除磁盘未释放

问题原因

这种java僵尸进程导致磁盘占用不断升高大概率是文件删除时文件流没有释放导致的。
排查到未关闭的文件流是引入了友商的SDK导致的,我们是以代码的方式引入的SDK,所以修复一下友商的SDK,重新发版断点重试就好了

容易忽视的文件流操作

友商的SDK中大部分文件流操作使用try with resource方式,都是会自动关闭流的,我们开始怀疑是不是同时存在try with resource以及手动关闭文件流方式,文件流关闭顺序导致文件流关闭失败,确认后发现并不是。(先释放try with resource内的文件流,再释放finally的文件流 )
最后发现有两行代码:

Files.lines(file).count();

Files.list(path).filter(Files::isRegularFile)
                        .filter(t -> t.toString().endsWith(".csv"))
                        .map(Path::toAbsolutePath)
                        .collect(Collectors.toList());

其中Files.lines方法和Files.list(path)方法都操作了文件流,但是没有释放

**注意:**Files.lines方法和Files.list(path)等Files类操作文件流的方法一定要关闭!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

游语

对你有帮助,可以请我喝杯奶哦

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值