记一次线上“内存泄露”故障（Redisson）

最新推荐文章于 2024-08-16 15:16:19 发布
最新推荐文章于 2024-08-16 15:16:19 发布
阅读量4k 收藏 3
点赞数 1
文章标签： netty 数据库 java
原文链接：https://juejin.im/post/5cd8e60be51d453ce71f60fa
版权
本文记录了一次由于Redisson客户端导致的内存泄露问题，表现为CPU飙升至600%并引发宕机。通过分析发现，EvictionScheduler的tasks持有大量未释放的任务，即使调用RedissonMapCache的destroy方法，ScheduleFutureTask和PromiseTask仍由Netty的NioEventLoopGroup持有。最终解决方案是改用RMap，避免使用Redisson的Eviction功能。
摘要由CSDN通过智能技术生成

故障现象： 应用隔2-3天就回导致一次CPU飙到600%+（容器，宿主8核），随后宕机。

排查过程：

首先明确CPU飙升原因

第一步： top -Hp 查看占用CPU进程

发现13~20线程占用大量CPU资源

第二步： jstack 查看实际占用cpu的进程（与top命令中线程关系nid(hex)=pid(dec)）

发现CPU占用方均为GC线程。

第三步： jstat -gcutil 查看gc执行情况，发现

  • Old区占用达100%
  • 在频繁的执行Full GC操作
  • 每次Full GC操作几乎释放不出Old区空间
  • 确认代码中的确没有System.GC()显式操作

结合此时old区占用已经达到99.9%，基本可以确定是内存占满导致频繁的FullGC，CPU高居不下，最后响应异常，被健康检查进程杀掉。

进一步分析堆栈，查找FullGC诱因，

第四步&#

最低0.47元/天 解锁文章
weixin_34348111
关注
记使用redisson分布式锁的一个坑
czqczq_的博客
03-29 325
由于此前该项目并没有redisson相关的jar包而且该项目属于老项目 没有使用maven构建依赖，所以需要手动将jar包引入，我在maven网站中下载了相关的redisson jar包，但是使用的时候会出现找不到类的问题，后来索性直接自己在idea中使用maven打包了一个jar包，该jar包包含了io等文件夹，会解决我上述的问题。在你的代码中加入一个。一开始以为我自己打包的jar包出现了问题，所以排查方向一直在这上面，没有结果，后面觉得可能是服务启动的时候开启了相关线程，但是在结束的时候没关掉它。
线上问题排查实例分析｜关于 Redis 内存泄漏
DiDi_Tech的博客
11-21 3607
Redis 作为高性能的 key-value 内存型数据库，普遍使用在对性能要求较高的系统中，同时也是滴滴内部的内存使用大户。本文从 KV 团队对线上 Redis 内存泄漏定位的时间线维度，简要介绍 Linux 上内存泄漏的问题定位思路和工具。16:30 问题暴露业务反馈缩容后内存使用率90%告警，和预期不符合，key 只有1万个，使用大 key 诊断，没有超过512字节以上的大 key。16:4...
redis内存溢出排查
最新发布
Timmy的博客
08-16 504
记录一次生产环境redis内存排查
redission实践-踩坑-高并发（百万并发）-内存泄露-OOM
Java程序员的知识博客
06-22 446
redission实践-踩坑-高并发-内存泄露-OOM-自旋等待
Redisson中MapCache导致OGC内存泄露问题
cyh0107的博客
07-07 927
发现mapcache对每一个键值对都会设置一个本地的定时任务，在过期时间到了之后，再对redis中的mapcache键值对删除
redis产生堆外内存溢出：OutOfDirectMemoryError
weixin_48921808的博客
08-11 953
//1.springBoot2.0以后默认使用lettuce作为操作redis的客户端，它使用netty进行网络通信。 //2. lettuce的bug导致netty堆外内存溢出 -xmx300m netty 如果没有指定堆外内存，默认使用-Xmx300m //内存不会释放 不能只调大才内存 // 解决方案 升级lettuce客户端，2.切换使用jedis //切换jedis //1.排除lettuce <!--引入redis--> <dependen.
记一次服务端内存泄漏排查之旅（第二篇）
wenyixicodedog的博客
03-13 918
本次线上内存泄漏表现出来(接到报警通知)是在上上周末，当大家都沉浸在周末的闲暇时光的时候 ，突然工作群接到运维通知说监控到我们的服务爆出一些500的错误，一时间，小组哗然，大家忙着看各种监控指标是否正常，发现内存大量被占用，居高不下释放不掉，cup持续飙高，接口耗时也非常严重。
记一次线上“内存泄露”故障
Peterinor的专栏
05-13 1452
故障现象：应用隔2-3天就回导致一次CPU飙到600%+（容器，宿主8核），随后宕机。 排查过程：首先明确CPU飙升原因，第一步：top -Hp 查看占用CPU进程 发现13~20（16进制为0xd～0x14）线程占用大量CPU资源 第二步：jstack 查看实际占用cpu的进程（与top命令中线程关系nid(hex)=pid(dec)） 发现CPU占用方均为GC线程。 第三步：j...
Redisson Map踩坑姿势
热门推荐
Peterinor的专栏
05-13 1万+
使用Java的Redisson客户端时，踩了一些坑，分享再次，供大家参考。 因此引发的一次故障及排查过程参见：记一次线上“内存泄露”故障 RMapCache的坑 RMapCache的坑要从Redisson中Map结构的元素淘汰机制说起，详见 Redisson元素淘汰，为了能够实现对Map中每个元素单独设定 有效时间 和 最长闲置时间，Redisson会创建很多的EvictionTask...
一天吃透redis
qq_44340049的博客
08-29 1827
一天时间把redis吃透! https://mp.weixin.qq.com/s/aOiadiWG2nNaZowmoDQPMQ -----建议参考博客 1.小伙子为什么选择用redis 因为传统的关系型数据库已经不适用所有的场景，比如双十一的秒杀，或者是APP的流量访问高峰；这些都会把数据打穿，所有我们引入了消息中间件—redis。 2.讲讲redis的基本数据类型吧 string [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IzYuIPKx-16302403
RAMMap 查看内存占用
11-20
RAMMap(电脑物理内存使用分析工具)是一款由微软Sysinternals公司开发的高级Windows物理内存使用情况分析工具，它使用不同的方式在不同的标签内显示物理内存的使用信息。
BAT 大厂Java 面试题集锦之核心篇附参考答案
程序员光剑
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
高并发服务优化篇：详解一次由读写锁引起的内存泄漏
m0_71777195的博客
06-23 220
JVM相关的异常，一直是一线研发比较头疼的问题。因为对于业务代码，JVM的运行基本算是黑盒，当异常发生时，较难直观地看到和找到问题所在，这也是我们一直要研究其内部逻辑的原因。本篇就有一个近期线上JVM内存泄漏的例子，带大家强行分析一波~某天，同事来找我帮忙，原来是某系统毫无征兆地来了一连串报警，一波机器的老年代内存占用率超过阈值~老年代内存占用可以看到，在7月中旬之前，内存占用还是比较正常的，每次GC都可以回收掉很大一部分的老年代对象。而中旬之后，老年代内存一直缓慢增长而无法释放。很明显，应该是对象没法被正
第三方库shiro-redis所引起的内存泄露问题分析
evasnowind的专栏
07-29 1665
现象 线上某系统运行不到一周，响应速度变慢，并且多次重启，排查时发现CPU占用到100%，但这段时间系统并发量并未改变，数据库、缓存等也没发现异常。 排查过程 1、top指令查看哪个进程占用CPU高 发现确实是该系统的java进程。 2、使用 top -Hp 进程id 看哪个线程，然后利用jstack命令查看对应线程一直在干什么 很经典的排查线上CPU 100%问题的操作步骤，注意要转十六进制 . 最终发现是GC操作占用CPU。 3、此处怀疑是某处有内存泄露，使用jmap -histo:live 进程i
ARM调查内存泄漏
qq_39977813的博客
03-24 1315
概要 valgrind即使在arm上移植成功了，想跑起来也非常困难，那么如果去调查arm平台的内存泄漏问题呢，一种思路是替换glibc的malloc 首先定义自己的mymalloc.h // Last Update:2018-09-26 11:27:00 /** * @file mymalloc.h * @brief * @author felix * @version 0.1.00...
现场工程师出手--使用 sysinternals::Rammap64 解决大吞吐下虚拟机耗尽宿主内存的问题
丁劲犇技术发布空间
05-10 676
一位学生有一台笔记本电脑，安装了Android，Kafka虚拟机很多软件。笔记本配置了20GB内存，固态硬盘，但最近很卡，Android Stuido经常闪退，一些游戏也无法运行。最终发现是因为虚拟机预留内存过大，导致其他软件无法启动。最终，通过 [sysinternals::Rammap64](https://learn.microsoft.com/zh-cn/sysinternals/) 工具集，分析了内存占用，并采用任务计划和定期清理功能保证系统健康。
项目一上线，遇到内存泄漏，排查坑哭了我...
Xn346的博客
04-01 358
背景 为了更好地实现对项目的管理，我们将组内一个项目迁移到MDP框架（基于Spring Boot），随后我们就发现系统会频繁报出Swap区域使用量过高的异常。 笔者被叫去帮忙查看原因，发现配置了4G堆内内存，但是实际使用的物理内存竟然高达7G，确实不正常。 JVM参数配置是 -XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M -XX:+AlwaysPr...
排查Windows内存泄漏问题的详细记录
咸鱼梦想
11-15 1537
RamMap是一款由Microsoft Sysinternals提供的免费工具，用于查看Windows物理内存的分配情况。它能够显示各种内存类型的使用情况，帮助我们理解内存泄漏的表现。
Android 线上内存泄漏
09-09
Android线上内存泄露是指在Android应用程序中存在未释放的内存对象，导致应用程序的内存使用量不断增加，最终可能导致应用程序崩溃或运行缓慢。 常见的Android线上内存泄露原因包括： 1. 静态变量引用：在Android应用中，如果一个对象被一个静态变量引用，那么即使该对象不再需要，系统也无法释放它占用的内存。这种情况下，如果静态变量的生命周期比应用的生命周期长，就会导致内存泄露。 2. 匿名内部类和非静态内部类引用：在Android开发中经常使用匿名内部类或非静态内部类，如果这些类引用了外部类的实例，那么外部类的实例就无法被释放，从而导致内存泄露。 3. Handler和Thread引用：在Android中，使用Handler和Thread时需要注意是否正确释放相关资源，否则可能导致内存泄露。 4. 资源未关闭：在使用一些需要手动关闭的资源，如数据库连接、文件流、网络连接等时，如果没有及时关闭这些资源，就会导致内存泄露。 5. 单例模式的不当使用：如果一个类被设计为单例模式，并且该类持有了大量的数据或引用其他对象，那么该对象的生命周期将与应用程序的生命周期相同，容易导致内存泄露。 要解决Android线上内存泄露问题，可以采取以下步骤： 1. 使用工具进行内存泄露分析：Android平台提供了一些工具，如Android Profiler和LeakCanary等，可以帮助定位内存泄漏的原因和位置。 2. 检查代码：仔细检查代码，确保正确地释放对象，包括关闭资源、取消注册等操作。 3. 避免静态引用：尽量避免使用静态引用，特别是对于大对象或持有其他对象引用的对象。 4. 使用弱引用：对于可能导致内存泄露的对象，可以考虑使用弱引用来引用它们，这样当没有强引用指向它们时，系统可以自动回收它们。 5. 注意生命周期：在设计和使用对象时，要注意对象的生命周期，尽量使其与应用程序的生命周期相一致，避免对象持有过长时间。 6. 及时释放资源：在使用需要手动关闭的资源时，要及时关闭这些资源，避免资源泄露。 综上所述，通过分析内存泄漏的原因，并采取相应的措施来修复和预防内存泄漏问题，可以提高Android应用程序的性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值