Netty报Direct buffer memory错误

最新推荐文章于 2024-07-23 17:16:34 发布

码上飞舞

最新推荐文章于 2024-07-23 17:16:34 发布

阅读量1w

点赞数 1

分类专栏： java 文章标签： Netty OutOfMemoryError Direct buffer memory

本文链接：https://blog.csdn.net/u010906369/article/details/53432228

版权

java 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

最近基于Netty的NIO做应用底层通讯架构的实现（服务发现，分布式，高可用，软负载）。遇到java.lang.OutOfMemoryError: Direct buffer memory内存溢出错误，查了很多网上材料都不好使，这里总结一下我的解决方案。

原因：Netty启用了堆外内存DirectByteBuffer实现了零拷贝，堆外内存对young gc免疫，只有在full gc的时候才被收回。

网上解决方案一：启动添加-XX:MaxDirectMemorySize=256m参数，允许系统自动调用System.gc()（启动参数不得有-XX:+DisableExplicitGC）【没起作用】

网上解决方案二：主动发起full gc【没起作用】

分析：由于本系统数据量太大，网络传输不过来，造成数据堆积在堆外内存DirectMemory中，无法回收，数据越堆越多，造成OutOfMemoryError错误。

我的解决方案：在channel.writeAndFlush(msg);发送前做channel.isWritable()判断解决问题。测试发现毫无影响。

达到qps达75000笔/s(平均2.5kb)，最大传输速度28MB/s

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

码上飞舞

关注关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Flink报错OutofMemoryError : Direct buffer memory

weixin_42868529的博客

03-29

4095

1、报错 flink运行一段时间后报错： java.lang.OutOfMemoryError: Direct buffer memory 截图： 2、原因根据报错提示和flink在官网上的内存模型，我们可以看到是Direct Memory不够用了 3、解决方法把task manager的内存和堆外内存调大，从而间接调大Direct Memory flink默认的task manager 内存是1.7G 我们在命令行里调整参数最后 ...

java.lang.OutOfMemoryError: Direct buffer memory使用堆外内存[转]

breezylee09的专栏

04-02

1472

转：http://blog.csdn.net/zhouhl_cn/article/details/6573213 创建Buffer对象时，可以选择从JVM堆中分配内存，也可以OS本地内存中分配，由于本地缓冲区避免了缓冲区复制，在性能上相对堆缓冲区有一定优势，但同时也存在一些弊端。两种缓冲区对应的API如下： JVM堆缓冲区：ByteBuffer.allocate(size) 本...

1 条评论您还未登录，请先登录后发表或查看评论

-XX:MaxDirectMemorySize和-Dio.netty.maxDirectMemory区别

最新发布

u013771019的专栏

07-23

1186

默认值是JVM能从操作系统申请的最大内存，如果内存本身没限制，则值为Long.MAX_VALUE个字节。使用JDK时：调用java.nio.DirectByteBuffer#DirectByteBuffer(int)构造器方法进行直接内存申请的时候，才会受-XX:MaxDirectMemorySize参数限制。直接调用Unsafe类，-XX:MaxDirectMemorySize 参数的大小限制对这种是无效的。

RocketMQ Broker 出现OutMemoryError: Direct Buffer memory

bobo哥写字的地方

01-02

1558

一起来看看RocketMQ DirectMemory OOM的问题

OutOfMemoryError Direct buffer memory

Ms.Fox的专栏

01-17

1168

查了好多， https://blog.csdn.net/jiangguilong2000/article/details/42297873 把内存数据dump下来，查看使用的比例，发现是netty底层占用异常。这里说的是 Netty.4.0.24.final版本有个bug,原因是因为缓冲区的数据如果超过了max_capacity的话，if(size==maxCapacity){....}...

Direct buffer OutOfMemoryError

敏叔

01-12

380

既然Direct memory是物理内存，那么是不是不受限制呢，这个肯定不是的。我们来一段程序： public class Jvm1_10 { static int _10M=1024*1024*10; public static void main(String[] args) { List<Buffer> list=new ArrayList&l...

Flink 运行错误 java.lang.OutOfMemoryError: Direct buffer memory

一见

12-16

2245

如遇到如下错误，表示需要调大配置项taskmanager.memory.framework.off-heap.size 的值，taskmanager.memory.framework.off-heap.size 的默认值为 128MB，错误显示不够用需要调大。

java netty中的direct memory 一篇详解

XHGHQHWWK的博客

04-10

721

Direct Memory时，物理地址和虚拟地址也不是完全相同的。Direct Memory Access（DMA）是一种特殊的I/O操作，可以允许设备直接访问系统内存而不需要CPU的干预。在DMA操作中，设备直接访问系统内存，因此需要知道系统内存的物理地址。设备可以通过总线地址（Bus Address）来访问内存，总线地址需要转换为物理地址才能访问实际的内存。这个地址转换过程通常是由DMA控制器完成的。而虚拟地址是由操作系统提供给进程使用的，不同的进程之间虚拟地址是可以重叠的。

聊聊netty的maxDirectMemory

weixin_34297300的博客

04-02

2408

序本文主要研究一下netty的maxDirectMemory(io.netty.maxDirectMemory) PlatformDependent netty-common-4.1.33.Final-sources.jar!/io/netty/util/internal/PlatformDependent.java public final class PlatformDependent { ...

Netty中关于Direct Buffers的问题思考

SmallCatBaby的博客

05-01

2616

JDK1.4中新加入了NIO，引入了一种基于通道（Channel）和缓存区（Buffer）的I/O方式，它可以使用Native函数库直接分配堆外内存(native堆)，然后通过一个存储在Java堆中的DirectByteBuffer对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能，因为避免了在Java堆和Native堆中来回复制数据。直接内...

netty 4.0.24版本Direct Memory Leak

Tom的专栏

07-13

2629

netty direct memory

【Flink】Flink报错OutofMemoryError : Direct buffer memory

九师兄

07-01

3928

文章目录1.背景3.源码分析2.场景22.1 概述3.场景33.1 概述M.参考 1.背景错误如下 3.源码分析首先找到readFrom方法 public long readFrom(ScatteringByteChannel channel) throws IOException { return readFromReadableChannel(channel); } 然后看看readFromReadableChannel方法 // Need a method to r

Spark学习笔记:OutOfMemoryError-Direct buffer memory (OOM)

cout<<"Hello World!";

03-14

6329

OOM可能的原因有以下几点： 1. 用户代码 off heap: 资源释放不当, 例如加载文件资源次数过多, 且不正常关闭, 例如多次调用ClassLoader().getResourceAsStream 2. Driver端 DirectMemory: 拉取Executor端Task Result数据回Driver节点时, 此处消耗的DirectMemory内存 = conf.getInt("spark.resultGetter.threads", 4) * TaskResultSize 3. E

java.lang.OutOfMemoryError: Direct buffer memory 异常解决

热门推荐

baidu_37313657的博客

03-23

1万+

原因写NIO程序经常使用ByteBuffer来读取或者写入数据，这是一种基于通道(Channel)与缓冲区(Buffer)的I/O方式，它可以使用Native函数库直接分配堆外内存，然后通过一个存储在java堆里面的DirectByteBuffer对象作为这块内存的引用进行操作。 ByteBuffer.allocate(capability)是分配JVM堆内存，属于GC管辖范围，由于需要拷贝速度...

使用thrift，每隔一段时间就会报错：java.lang.OutOfMemoryError: Direct buffer memory

java_zjn的博客

06-15

659

背景：使用thrif（版本0.9.3）对外提供服务，每隔一段时间thrif服务就挂掉。问题定位过程： 1、查看日志，发现存在java.lang.OutOfMemoryError: Direct buffer memory异常，因为thrif用到nio，发现启动服务没有配置直接内存，想当然认为是直接内存过小，于是在jvm启动参数加大了直接内存的最大值（-XX:MaxDirectMemorySize），后续观察。过了一段时间，问题还是复现了。 2、再查日志还是报直接内存溢出，然后再仔细查看日志，发现直接

java direct memory_发生java.lang.OutOfMemoryError: Direct buffer memory

weixin_33404102的博客

03-04

821

下面是在掉坑了，出现了一次 java.lang.OutOfMemoryError: Direct buffer memory 错误后的总结。发生原因：用来 nio ，但是 direct buffer 不够解决办法1)检查是否直接或间接使用了 nio ，例如手动调用生成 buffer 的方法或者使用了 nio 容器如 netty， jetty， tomcat 等等；2)-XX:MaxDirectMe...

【Kafka】kafka OutOfMemoryError: Direct buffer memory Java heap space

九师兄

08-06

1721

1.背景做实验：【Kafka】Kafka如何开启SSL 控制台消费与生产代码消费与生产的时候，因为机器太卡导致内存溢出 java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:694) at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123) at java.nio.ByteBuffer..

netty4 OutOfDirectMemory异常

arloor的博客

12-09

5684

问题自己用netty实现的代理，在测速、下载（跑满网速）的情况下总是会报OutOfDirectMemory异常。原因及解决在github netty项目下有这样一个issue。描述了这样一个问题。总结一下里面说的。出现这个异常有两种情况，pooled buf没有release；写太快，超过了极限。重要摘录： If i’m right, Netty in NIO-mode tries to...

java NIO 报OutOfMemory:Direct buffer memory

u010199493的博客

07-17

1085

1.NIO底层使用了ByteBuffer.allocteDirect(capability)来分配缓存，这种方式是分配OS本地内存，不属于GC管辖范围。 2.本地内存在JAVA中有一个对应的包装类DirectByteBuffer，该类属于Java类，适当的时候会被GC回收，当它被回收前会调用本地方法把直接内存给释放了，所以本地内存可以随DirectByteBuffer对象被回收而自动回收，貌似没...