记一次线上文件数打开过多的问题(二)

本文记录了一次线上服务由于文件打开过多导致的问题排查过程,涉及分布式锁、异步写日志、异步定时任务的分析,并通过堆DUMP找出问题根源——Controller层定义的线程池成员变量导致类无法被垃圾回收,以及定时任务执行过久引发的堆积。解决方案包括调整锁超时和优化代码以避免内存泄漏。
摘要由CSDN通过智能技术生成

分析

之前分析对文件数打开过多的原因可能存在如下三个地方:

  1. 分布式锁
  2. 异步定时任务
  3. 异步写日志
    下面一个一个分析。

分布式锁

分布式锁是采用redis实现的,加入了自旋的功能(redis做分布式锁终归不是一个很好的方案),但是代码中使用这个锁的地方不止一处,之前都一直没有出问题,所以先放一边。
在这里插入图片描述

异步写日志

由于查看lsof,是sock一直在增长,考虑是网络连接没有正常释放的问题,用到网络连接的地方就是接口请求,用户请求和写NFS日志。网上看了下也有说是NFS的问题,将日志临时注释,发现并没有作用。那就是接口请求或用户请求的问题,但是一直也没有头绪。

异步定时任务

由于发生问题的前一天上线过一个定时任务的功能,所以把那天发布的代码拿出来检查,也没发现有什么问题(后台才知道是Controler层定义了一个线程池成员变量导致类无法被GC)。
在这里插入图片描述

堆DUMP

这个时候把堆dump出来分析成了最直接的方式, 但是我们服务是部署在docker里的,而这个dock

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值