记一次线上“内存泄露”故障（Redisson）

最新推荐文章于 2024-08-16 15:16:19 发布
最新推荐文章于 2024-08-16 15:16:19 发布
阅读量4k 收藏 3
点赞数 1
文章标签： netty 数据库 java
原文链接：https://juejin.im/post/5cd8e60be51d453ce71f60fa
版权
本文记录了一次由于Redisson客户端导致的内存泄露问题，表现为CPU飙升至600%并引发宕机。通过分析发现，EvictionScheduler的tasks持有大量未释放的任务，即使调用RedissonMapCache的destroy方法，ScheduleFutureTask和PromiseTask仍由Netty的NioEventLoopGroup持有。最终解决方案是改用RMap，避免使用Redisson的Eviction功能。
摘要由CSDN通过智能技术生成

故障现象： 应用隔2-3天就回导致一次CPU飙到600%+（容器，宿主8核），随后宕机。

排查过程：

首先明确CPU飙升原因

第一步： top -Hp 查看占用CPU进程

发现13~20线程占用大量CPU资源

第二步： jstack 查看实际占用cpu的进程（与top命令中线程关系nid(hex)=pid(dec)）

发现CPU占用方均为GC线程。

第三步： jstat -gcutil 查看gc执行情况，发现

  • Old区占用达100%
  • 在频繁的执行Full GC操作
  • 每次Full GC操作几乎释放不出Old区空间
  • 确认代码中的确没有System.GC()显式操作

结合此时old区占用已经达到99.9%，基本可以确定是内存占满导致频繁的FullGC，CPU高居不下，最后响应异常，被健康检查进程杀掉。

进一步分析堆栈，查找FullGC诱因，

第四步&#

最低0.47元/天 解锁文章
weixin_34348111
关注
走进redisson
Java_Zzm的博客
03-21 995
这里作者将大家走进redisson，读完这篇相信加深你对redisson的获取锁，重入，超时，看门狗，发布订阅等原理和功能的理解。本文将深入原理代码，给出每行代码的意义以及最后的效果，过程有些枯燥，但探索的过程是快乐的，同时也希望大家看的过程当中去一起去查看源码。
redisson内存泄漏问题排查
最新发布
weixin_41407839的博客
09-25 86
问题描述 最近生产有个服务突然出现频繁告警，接口P99响应时间变长，运维同学观察到相应的pod cpu飙升，内存占用很高。 cpu升高问题排查是老生常谈的话题了，一般可以使用top -p pid -H查看是哪个线程占用cpu高，再结合jstack找到对应的java线程代码。 不过经验告诉我们，cpu升高还有另外一个更常见的原因，内存不足导致频繁gc。垃圾收集器回收内存后又很快不足，继续回收，循环...
redis内存溢出排查
Timmy的博客
08-16 525
记录一次生产环境redis内存排查
redission实践-踩坑-高并发（百万并发）-内存泄露-OOM
Java程序员的知识博客
06-22 477
redission实践-踩坑-高并发-内存泄露-OOM-自旋等待
线上问题排查实例分析｜关于 Redis 内存泄漏
DiDi_Tech的博客
11-21 3626
Redis 作为高性能的 key-value 内存型数据库，普遍使用在对性能要求较高的系统中，同时也是滴滴内部的内存使用大户。本文从 KV 团队对线上 Redis 内存泄漏定位的时间线维度，简要介绍 Linux 上内存泄漏的问题定位思路和工具。16:30 问题暴露业务反馈缩容后内存使用率90%告警，和预期不符合，key 只有1万个，使用大 key 诊断，没有超过512字节以上的大 key。16:4...
Redisson中MapCache导致OGC内存泄露问题
cyh0107的博客
07-07 963
发现mapcache对每一个键值对都会设置一个本地的定时任务，在过期时间到了之后，再对redis中的mapcache键值对删除
redis产生堆外内存溢出：OutOfDirectMemoryError
weixin_48921808的博客
08-11 959
//1.springBoot2.0以后默认使用lettuce作为操作redis的客户端，它使用netty进行网络通信。 //2. lettuce的bug导致netty堆外内存溢出 -xmx300m netty 如果没有指定堆外内存，默认使用-Xmx300m //内存不会释放 不能只调大才内存 // 解决方案 升级lettuce客户端，2.切换使用jedis //切换jedis //1.排除lettuce <!--引入redis--> <dependen.
记一次服务端内存泄漏排查之旅（第二篇）
wenyixicodedog的博客
03-13 923
本次线上内存泄漏表现出来(接到报警通知)是在上上周末，当大家都沉浸在周末的闲暇时光的时候 ，突然工作群接到运维通知说监控到我们的服务爆出一些500的错误，一时间，小组哗然，大家忙着看各种监控指标是否正常，发现内存大量被占用，居高不下释放不掉，cup持续飙高，接口耗时也非常严重。
高并发服务优化篇：详解一次由读写锁引起的内存泄漏
m0_71777195的博客
06-23 222
JVM相关的异常，一直是一线研发比较头疼的问题。因为对于业务代码，JVM的运行基本算是黑盒，当异常发生时，较难直观地看到和找到问题所在，这也是我们一直要研究其内部逻辑的原因。本篇就有一个近期线上JVM内存泄漏的例子，带大家强行分析一波~某天，同事来找我帮忙，原来是某系统毫无征兆地来了一连串报警，一波机器的老年代内存占用率超过阈值~老年代内存占用可以看到，在7月中旬之前，内存占用还是比较正常的，每次GC都可以回收掉很大一部分的老年代对象。而中旬之后，老年代内存一直缓慢增长而无法释放。很明显，应该是对象没法被正
RAMMap 查看内存占用
11-20
RAMMap(电脑物理内存使用分析工具)是一款由微软Sysinternals公司开发的高级Windows物理内存使用情况分析工具，它使用不同的方式在不同的标签内显示物理内存的使用信息。
记一次线上“内存泄露”故障
Peterinor的专栏
05-13 1460
故障现象：应用隔2-3天就回导致一次CPU飙到600%+（容器，宿主8核），随后宕机。 排查过程：首先明确CPU飙升原因，第一步：top -Hp 查看占用CPU进程 发现13~20（16进制为0xd～0x14）线程占用大量CPU资源 第二步：jstack 查看实际占用cpu的进程（与top命令中线程关系nid(hex)=pid(dec)） 发现CPU占用方均为GC线程。 第三步：j...
Redisson Map踩坑姿势
热门推荐
Peterinor的专栏
05-13 1万+
使用Java的Redisson客户端时，踩了一些坑，分享再次，供大家参考。 因此引发的一次故障及排查过程参见：记一次线上“内存泄露”故障 RMapCache的坑 RMapCache的坑要从Redisson中Map结构的元素淘汰机制说起，详见 Redisson元素淘汰，为了能够实现对Map中每个元素单独设定 有效时间 和 最长闲置时间，Redisson会创建很多的EvictionTask...
一天吃透redis
qq_44340049的博客
08-29 1854
一天时间把redis吃透! https://mp.weixin.qq.com/s/aOiadiWG2nNaZowmoDQPMQ -----建议参考博客 1.小伙子为什么选择用redis 因为传统的关系型数据库已经不适用所有的场景，比如双十一的秒杀，或者是APP的流量访问高峰；这些都会把数据打穿，所有我们引入了消息中间件—redis。 2.讲讲redis的基本数据类型吧 string [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IzYuIPKx-16302403
BAT 大厂Java 面试题集锦之核心篇附参考答案
AI天才研究院
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
第三方库shiro-redis所引起的内存泄露问题分析
evasnowind的专栏
07-29 1675
现象 线上某系统运行不到一周，响应速度变慢，并且多次重启，排查时发现CPU占用到100%，但这段时间系统并发量并未改变，数据库、缓存等也没发现异常。 排查过程 1、top指令查看哪个进程占用CPU高 发现确实是该系统的java进程。 2、使用 top -Hp 进程id 看哪个线程，然后利用jstack命令查看对应线程一直在干什么 很经典的排查线上CPU 100%问题的操作步骤，注意要转十六进制 . 最终发现是GC操作占用CPU。 3、此处怀疑是某处有内存泄露，使用jmap -histo:live 进程i
ARM调查内存泄漏
qq_39977813的博客
03-24 1319
概要 valgrind即使在arm上移植成功了，想跑起来也非常困难，那么如果去调查arm平台的内存泄漏问题呢，一种思路是替换glibc的malloc 首先定义自己的mymalloc.h // Last Update:2018-09-26 11:27:00 /** * @file mymalloc.h * @brief * @author felix * @version 0.1.00...
现场工程师出手--使用 sysinternals::Rammap64 解决大吞吐下虚拟机耗尽宿主内存的问题
丁劲犇技术发布空间
05-10 710
一位学生有一台笔记本电脑，安装了Android，Kafka虚拟机很多软件。笔记本配置了20GB内存，固态硬盘，但最近很卡，Android Stuido经常闪退，一些游戏也无法运行。最终发现是因为虚拟机预留内存过大，导致其他软件无法启动。最终，通过 [sysinternals::Rammap64](https://learn.microsoft.com/zh-cn/sysinternals/) 工具集，分析了内存占用，并采用任务计划和定期清理功能保证系统健康。
Android 线上内存泄漏
09-09
Android线上内存泄露是指在Android应用程序中存在未释放的内存对象，导致应用程序的内存使用量不断增加，最终可能导致应用程序崩溃或运行缓慢。 常见的Android线上内存泄露原因包括： 1. 静态变量引用：在Android...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值