netty 4.0.24版本Direct Memory Leak

最新推荐文章于 2024-07-23 17:16:34 发布
最新推荐文章于 2024-07-23 17:16:34 发布
阅读量2.6k 收藏 2
点赞数 2
分类专栏： Java RPC 文章标签： jvm 内存 netty
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/coledaddy/article/details/51896634
版权
博客介绍了在使用Netty 4.0.24版本时遇到的Direct Memory Leak问题，导致系统常驻内存高达14GB。通过分析发现，大量128MB的内存分配与Netty有关，特别是读取数据时的异常处理。定位到源码`io_netty_channel_epoll_Native.c`中存在内存泄漏，经过排查确认是由于JNI的`ThrowNew`方法引起的。解决方案是升级Netty版本。此外，还提到了其他可能导致Java进程内存超过XMX配置的情况，如垃圾收集、JIT优化、Off-heap分配和JNI代码。
摘要由CSDN通过智能技术生成

现象

这里写图片描述

top显示常驻内存已经达到14G，而JVM本身的内存占用不高 -XMX 配置的是4096M.

分析

jmap -heap pid

jvm本身是没有问题的，而且应用表现也没有什么异常，但机器的内存已经占用很高，触发了机器监控的

内存报警.因为这个应用使用了netty，因为初步分析应该是有Direct Memory 没有回收处理。

这里写图片描述

采用pmap 查看进程内存情况

pmap -x pid

这里写图片描述

发现有大量的131072k 即128M。这样的内存地址有77个，应该这就是为什么内存一直高的原因了。

接着找到是谁怎么创建的这些堆外内存，首先怀疑的重点对象就是netty了。netty 这个高性能的nio框架

会申请堆外内存。但不能去全盘看netty的源码，这不太可能，所以只能先看看这些内存里面是存的是什

么东西，看看能否有什么线索。采用gdb这个工具来尝试一把

gdb --pid pid

然后执行

dump binary memory result.bin 0x00007f2908000000 0x00007f2910000000

会

最低0.47元/天 解锁文章
Colebaba
关注
专栏目录
java netty中的direct memory 一篇详解
XHGHQHWWK的博客
04-10 782
Direct Memory时，物理地址和虚拟地址也不是完全相同的。Direct Memory Access（DMA）是一种特殊的I/O操作，可以允许设备直接访问系统内存而不需要CPU的干预。在DMA操作中，设备直接访问系统内存，因此需要知道系统内存的物理地址。设备可以通过总线地址（Bus Address）来访问内存，总线地址需要转换为物理地址才能访问实际的内存。这个地址转换过程通常是由DMA控制器完成的。而虚拟地址是由操作系统提供给进程使用的，不同的进程之间虚拟地址是可以重叠的。
netty的direct memory大小设置
gorden5566的专栏
11-26 4017
最近遇到一个 netty 的 OutOfDirectMemoryError 报错，是在分配 direct memory 时内存不足导致的，看了下报错提示，要分配的内存大小为 16M，剩余的空间不足。这里 max direct memory 大约有 7G，于是就有一个疑问，这个值是怎么设置的？ 代码分析 这里使用的 netty 版本是 4.1.14.Final，如下是报错时的调用栈信息，主要关注下PlatformDependent这个类。 复制 1 2 3 4 5 6 7 8 9 1..
Netty Memory Leak Error
Derek_Zhang_的专栏
11-19 1515
1. java.lang.OutOfMemoryError: GC overhead limit exceeded at com.jcraft.jzlib.InfBlocks.(InfBlocks.java:114) at com.jcraft.jzlib.Inflate.inflateInit(Inflate.java:181) at com.j
netty4 OutOfDirectMemory异常
arloor的博客
12-09 5701
问题 自己用netty实现的代理，在测速、下载（跑满网速）的情况下总是会报OutOfDirectMemory异常。 原因及解决 在github netty项目下有这样一个issue。描述了这样一个问题。 总结一下里面说的。出现这个异常有两种情况，pooled buf没有release；写太快，超过了极限。 重要摘录： If i’m right, Netty in NIO-mode tries to...
netty内存泄露检测原理
heishiyuriyao的专栏
10-11 2259
一、为什么netty需要内存泄露检测 由于netty的ByteBuf可能申请自直接内存，这一块是内存是不纳入GC的，如果不释放，会导致直接内存泄露。 二、虚引用 虚引用在实际的引用被释放之前，会将虚引用保存到引用队列中， ReferenceQueue referenceQueue = new ReferenceQueue(); Object oc = new Ob
聊聊netty的maxDirectMemory
weixin_34297300的博客
04-02 2435
序 本文主要研究一下netty的maxDirectMemory(io.netty.maxDirectMemory) PlatformDependent netty-common-4.1.33.Final-sources.jar!/io/netty/util/internal/PlatformDependent.java public final class PlatformDependent { ...
Netty中关于Direct Buffers的问题思考
SmallCatBaby的博客
05-01 2640
JDK1.4中新加入了NIO，引入了一种基于通道（Channel）和缓存区（Buffer）的I/O方式，它可以使用Native函数库直接分配堆外内存(native堆)，然后通过一个存储在Java堆中的DirectByteBuffer对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能，因为避免了在Java堆和Native堆中来回复制数据。 直接内...
【Netty4 简单项目实践】七、上线前准备--内存泄漏监控、系统监控
arctan90的专栏
05-24 4681
一、内存泄漏 Netty4的内存泄漏监控默认是没有的，需要手动设置。 它的内存泄漏只是针对Bytebuf，这也暗示着使用Bytebuf能提高系统性能降低GC的影响。 配置很简单，就是设置运行变量  io.netty.leakDetection.level String str = Property.getProperty("io.netty.leakD
Netty报Direct buffer memory错误
u010906369的专栏
12-02 1万+
最近在基于Netty实现NIO方面做应用底层通讯架构（服务发现，分布式，高可用，软负载）。遇到java.lang.OutOfMemoryError: Direct buffer memory内存溢出错误，查了很多网上材料都不好使，这里总结一下我的解决方案。 原因：Netty启用了堆外内存DirectByteBuffer实现了零拷贝，堆外内存对young gc免疫，只有在full gc的时候才被收
-XX:MaxDirectMemorySize和-Dio.netty.maxDirectMemory区别
最新发布
u013771019的专栏
07-23 1277
默认值是JVM能从操作系统申请的最大内存，如果内存本身没限制，则值为Long.MAX_VALUE个字节。使用JDK时：调用java.nio.DirectByteBuffer#DirectByteBuffer(int)构造器方法进行直接内存申请的时候，才会受-XX:MaxDirectMemorySize参数限制。直接调用Unsafe类，-XX:MaxDirectMemorySize 参数的大小限制对这种是无效的。
高并发下Netty4底层bug导致直接内存溢出分析
热门推荐
流子的专栏
12-31 2万+
事故记录: 10点游戏开服，迅速冲破2300+单区同时在线 18点15分，运营反应玩家进不了，准备吃饭的人被抓回来排查故障 发现，由于直接内存被占满，一直在Full GC ,并且回收不掉，所以完全不处理玩家请求，通知运维重启服务器，临时解决。 2.考虑了下是不是把RPC连接数量改成了8条，超时改长了了导致，试着把数量减少，超时改成2个小时，发现直接内存随着时间推移还在增加。 3.把...
Netty之Java堆外内存扫盲贴
weixin_33860147的博客
01-29 890
Java的堆外内存本来是高贵而神秘的东西，只在一些缓存方案的收费企业版里出现。但自从用了Netty，就变成了天天打交道的事情，毕竟堆外内存能减少IO时的内存复制，不需要堆内存Buffer拷贝一份到直接内存中，然后才写入Socket中；而且也没了烦人的GC。 好在，Netty所用的堆外内存只是Java NIO的 DirectByteBuffer类，通读一次很快。还有一些sun.misc.*的类木有...
三级分类业务改造-使用缓存
小生不才的博客
12-29 868
1.使用redis做缓存 /** * 渲染对应的二三级分类数据 * 往缓存中放的是JSON,取出来的也是JSON，可逆转为能用的对象类型 * json跨语言跨平台兼容 * @return */ @Override public Map<String, List<Catelog2Vo>> getCatalogJson() { String catelogJSON = stringRedisTempla
02 记一次 netty 内存泄露
970655147的专栏
06-25 3296
前言 最近在一个 jt809 的项目中碰到了这样的一个问题 最开始 对方传输给我们的车辆数量不多的情况下, 系统一直很稳健 但是 由于之前又对接了大量的车辆, 然后 之后出现了一次 OutOfDirectMemoryError, 然后 当时 临时重启了一下 然后 过了一周左右的时间(7, 8天), 服务再一次OutOfDirectMemoryError 大概的错误信息是这样 Exception in thread "main" io.netty.util.internal.OutO......
netty的epoll和linux的epoll是如何实现的
小马哥的博客
11-04 4278
1.linux的epoll epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。
netty 加入自定义jni epoll实现
mxy2002924的专栏
09-24 1048
java 和netty epoll实现 Java NIO根据操作系统不同， 针对nio中的Selector有不同的实现： macosx: KQueueSelectorProvider solaris: DevPollSelectorProvider Linux: EPollSelectorProvider (Linux kernels &gt;= 2.6)或 PollS...
netty5学习笔记-内存泄露检测
iteye_21078的博客
08-23 452
netty中用到内存泄露检测的地方主要有：1、CompositeByteBuf；2、HashedWheelTimer；3、继承AbstractByteBufAllocator的几个类。 下面我们看看netty里的内存检测类ResourceLeakDetector的具体实现：   netty的内存泄露检测分为四级： DISABLED: 不进行内存泄露的检测； SIMPLE: 抽样检测，且...
java direct mem内存泄露问题集锦
smart wolf
08-20 324
http://code.alibabatech.com/blog/experience_1348/netty-nio-direct-memory-leak.html   http://rednaxelafx.iteye.com/blog/1102253   http://hllvm.group.iteye.com/group/topic/28776   http://www.futur...
Netty 4.1.66版本特性与应用
版本号"4.1.66.Final"表明我们讨论的是Netty 4.1系列的第66个维护版，它已经是该系列的稳定版本，即"Final"。 Netty是基于事件驱动的网络编程框架，它简化了网络编程，包括TCP和UDP套接字服务器。它主要利用了Java...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值