Netty-ByteBuf快速上手

最新推荐文章于 2022-05-30 19:09:39 发布
最新推荐文章于 2022-05-30 19:09:39 发布
阅读量811 收藏 1
点赞数 2
分类专栏： JAVA网络编程 文章标签： java netty ByteBuf 零拷贝 nio buffer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44642403/article/details/117637026
版权

Netty-ByteBuf快速上手

ByteBuf是Netty对原有NIO中的ByteBuffer进行一个增强，ByteBuf的使用相较于NIO的ByteBuffer使用起来方便很多，ByteBuf优点

  1. 池化，可以重用ByteBuf实例，节约内存的使用，减少内存溢出的可能
  2. 读写双指针，不用像ByteBuffer那样需要切换读写模式
  3. 可以自动扩容
  4. 链式调用
  5. 很多地方使用了零拷贝

创建ByteBuf

ByteBuf的创建有2种方式，可以从堆内存创建，直接内存创建

直接内存

直接内存创建，顾名思义就是直接在内存中开辟一个ByteBuf，直接内存创建和销毁代价比较昂贵，但是读写性能搞，适合配合池化功能一起使用，ByteBufAllocator.DEFAULT.buffer()默认使用直接内存创建的ByteBuf

直接内存堆GC压力小，因为这部分不受JVM垃圾回收机制的管理，但是要注意及时主动释放内存

//使用ByteBufAllocator对象获取一个ByteBuf，默认长度256字节
ByteBuf buffer = ByteBufAllocator.DEFAULT.heapBuffer();
//使用ByteBufAllocator对象获取一个ByteBuf，指定长度1024字节
ByteBuf buffer = ByteBufAllocator.DEFAULT.heapBuffer();

堆内存

堆内存创建，就是基于堆创建的ByteBuf，它相较于直接内存分配的性能要低，但是无需主动释放内存，垃圾回收机制会管理

//使用ByteBufAllocator对象获取一个ByteBuf，默认长度256字节
ByteBuf buffer = ByteBufAllocator.DEFAULT.directBuffer();
//使用ByteBufAllocator对象获取一个ByteBuf，指定长度1024字节
ByteBuf buffer = ByteBufAllocator.DEFAULT.directBuffer();

池化与非池化

ByteBuf也运用了池化技术，池化的优点4.1后的netty默认开启池化实现

  1. 没有池化，则每次都创建新的ByteBuf实例，这个操作对直接内存代价昂贵，就是堆内存也会增加GC的压力
  2. 有了池化，则可以重用池种的ByteBuf实例，并且采用了与jemalloc类似的内存分配算法提升分配效率
  3. 并发时，池化功能更节约内存，减少内存溢出的可能
-Dio.netty.allocator.type={unpooled|pooled}

ByteBuf组成

ByteBuf由4个属性，将来整块ByteBuf拆成4部分

  1. 废弃部分：再每一次读取时读指针会向后移动，已经被读取过的部分被称为废弃部分
  2. 可读部分：在每一次写操作时，写指针会向后移动，读指针至写指针位置为可读部分
  3. 可写部分：在创建ByteBuf时给定的最初容量，写指针至容量部分为可写部分
  4. 最大容量：当写指针超过容量后，会申请跟多的容量进行写入，但是最后不会超过最大容量，容量至最大容量为可扩容部分

读指针/写指针最初位置是0

在这里插入图片描述

写入

一下列举的都是write开头的写入方法，改方法在每次写入后都会修改writerIndex参数

使用set开头方法可不改变writerIndex情况下为指定下标写入指定内容

方法名解释备注
writeBoolean(boolean value)写入boolean值(writerIndex+1)用一个字节01|00表示true|false
writeByte(int value)写入byte值(writerIndex+1)
writeShort(int value)写入short值(writerIndex+1)
writeInt(int value)写入int值(writerIndex+1)Big Endian，即0x250，写入后00 00 02 50
writeIntLE(int value)写入int值(writerIndex+1)Little Endian，即0x250，写入后50 02 00 00
writeLong(long value)写入long值(writerIndex+1)
writeChar(int value)写入char值(writerIndex+1)
writeFloat(float value)写入float值(writerIndex+1)
writeDouble(double value)写入double值(writerIndex+1)
writeBytes(ByteBuf src)写入ByteBuf值(writerIndex+src.readableBytes)
writeBytes(byte[] src)写入(byte[]值(writerIndex+src.length)
writeCharSequence(CharSequence sequence, Charset charset)写入字符串

写入测试

在这里插入图片描述

扩容

扩容规则：

  1. 如果写入后数据大小未超过512，则选择下一个16的整数倍，例如写入后大小为12，则扩容后到16
  2. 如果写入后大小超过512，则选择下一个2n，例如写入后大小513，则扩容到210=1024(2^9=512不够了)
  3. 扩容不能超过最大容量max capacity

读取

buf.readByte()读取一个字节，可以看到读取之后readIndex读指针后移了一位

使用get开头方法可不改变readIndex情况下为指定下标写入指定内容

在这里插入图片描述

重复读取

利用markReaderIndex()方法可以标记当前读取位置，后面利用resetReaderIndex()可以让读指针回到你之前标记好的位置，达到重复读取

在这里插入图片描述

ByteBuf内存回收

  1. 堆缓存(UnpooledHeapByteBuf)使用的是JVM内存回收，只需要等GC回收即可
  2. 直接内存(UnpooledDirectByteBuf)使用的是直接内存，需要调用特殊方法回收内存
  3. PooledByteBuf和他的子类使用了池化机制，需要负载的规则回收内容

ReferenceCounted

Netty使用了引用计数法来控制回收内存，每一个ByteBuf都会实现ReferenceCounted接口

  1. 每个ByteBuf对象初始计数1
  2. 调用release方法计数减1，如果计数为0，ByteBuf内存被回收
  3. 调用retain方法计数加1，表示调用者没有用完之前，其它handler调用了release也不会造成回收
  4. 计数为0时，底层内存会被回收，这时即使ByteBuf对象还在，但各方法已无法正常使用

TailContext

TailContext是处理入站的最后的一个Handler，会使用release方法将ByteBuf释放掉

在这里插入图片描述

HeadContext

HeadContext是处理出站的最后的一个Handler，会使用release方法将ByteBuf释放掉

在这里插入图片描述

手动释放

以上说的都是Netty中入站的msg最后会被释放掉，平时我们自己new出来的ByteBuf释放写法如下

ByteBuf buf = ...
try{
    ...
}finally{
    buf.release();
}

零拷贝

slice

slice可堆一个原始ByteBuf进行切片成多个ByteBuf，切片后的ByteBuf并不是原始ByteBuf的副本，切片后的ByteBuf维护着独立的读写指针，你所进行的所有修改最终都会修改到原始ByteBuf

使用该方法后为了保证切片原始Buf不会意外回收需调用retain()增加引用计数，处理完毕后调用release()减少引用计数

在这里插入图片描述

使用slice切片

在这里插入图片描述

修改切片中的内容后查看原始ByteBuf跟着改变

在这里插入图片描述

duplicate

duplicate也是零拷贝，与slice区别是duplicate是切片整个一ByteBuf，并且在切片后最大容量没有限制，而slice一般用于切片部分，并且切片后的容量不能增加

使用该方法后为了保证切片原始Buf不会意外回收需调用retain()增加引用计数，处理完毕后调用release()减少引用计数

在这里插入图片描述

CompositeByteBuf

CompositeByteBuf，可以让2个buf直接组合到一次，不用发生任何拷贝

使用该方法后为了保证切片原始Buf不会意外回收需调用retain()增加引用计数，处理完毕后调用release()减少引用计数

在这里插入图片描述

非零拷贝

copy

与零拷贝相反则是copy方法，直接将原有ByteBuf拷贝到一个新的ByteBuf中，新的ByteBuf中任何修改与原始ByteBuf无关

在这里插入图片描述

打印ByteBuf内容(16进制)

private static void log(ByteBuf buf){
    int length = buf.readableBytes();
    int rows = length / 16 + (length % 15 == 0 ? 0 : 1) + 4;
    StringBuilder builder = new StringBuilder(rows * 80 * 2)
        .append("read index:").append(buf.readerIndex())
        .append(" write index:").append(buf.writerIndex())
        .append(" capacity:").append(buf.capacity())
        .append(NEWLINE);
    appendPrettyHexDump(builder,buf);
    System.out.println(builder.toString());
}
JolyouLu
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
java 检查bytebuf长度_ByteBuf分析
weixin_34237941的博客
02-26 2752
1. 概念Java NIO API自带的缓冲区类功能相当有限，没有经过优化，使用JDK的ByteBuffer操作更复杂。故而Netty的作者Trustin Lee为了实现高效率的网络传输，重新造轮子，Netty中的ByteBuf实际上就相当于JDK中的ByteBuffer，其作用是在Netty中通过Channel传输数据。2. 优势可以自定义缓冲类型；通过内置的复合缓冲类型，实现透明的零拷贝(ze...
java 检查bytebuf长度_Netty实战五之ByteBuf
weixin_42328834的博客
02-26 1244
网络数据的基本单位总是字节，Java NIO 提供了ByteBuffer作为它的字节容器，但是其过于复杂且繁琐。Netty的ByteBuffer替代品是ByteBuf，一个强大的实现，即解决了JDK API的局限性，又为网络应用程序的开发者提供了更好的API。1、ByteBuf的APINetty的数据处理API通过两个组件暴露——abstract class ByteBuf 和 interface...
详解ByteBuf缓冲区
学而不思则忘
05-30 3448
1. ByteBuf优点 与Java NIO的Byte Buffer相比，ByteBuf的优势如下： Pooling池化，减少了内存复制和GC，提升了效率 复合缓冲区类型，支持零复制 不需要调用flip()方法去切换读/写模式 扩展性良好 可以自定义缓冲区类型 读取和写入索引分开 方法的链式调用 可以进行引用计数，方便重复使用 2. ByteBuf的逻辑部分 ByteBuf是一个字节容器，内部是一个字节数组。从逻辑上来分，字节容器内部可以分为四个部分。 第一个部分是已用字节，表示已经使用完的废弃的无
Netty 学习（八）强大的数据容器 ByteBuf
大鱼的博客
11-26 946
学习 ByteBuf 内部结构和API等相关的内容。
Netty_Day3_netty入门-bytebuf是否池化和内存模式
weixin_43899452的博客
02-23 261
ByteBuf通过ByteBufAllocator选择allocator并调用对应的buffer()方法来创建的，默认使用直接内存作为ByteBuf，容量为256个字节，可以指定初始容量的大小 当ByteBuf的容量无法容纳所有数据时，ByteBuf会进行扩容操作 如果在handler中创建ByteBuf，建议使用ChannelHandlerContext ctx.alloc().buffer()来创建 直接内存与堆内存 通过该方法创建的ByteBuf，使用的是基于直接内存的ByteBuf ByteBu
ByteBuf详解和Netty中的拆包粘包原理解析
moneywenxue的博客
09-27 1725
前言 本章重点： ByteBuf零拷贝 netty拆包粘包 LengthFieldBasedFrameDecoder解码器 一、ByteBuf详解 1.1 ByteBuf的存储结构 1.2ByteBuf中常用的方法 1.3Reader相关方法 1.4ByteBuf的零拷贝机制 1.5Unpooled 1.6内存释放（可以不讲） 二、Netty中的拆包粘包问题 三、应用层定义通信协议 3.1消息长度固定 3.2特定分隔符 3.3消息长度加消息内容加分隔符 3.4...
缓冲区ByteBuffer简单说明
菜鸟博客
05-28 1万+
ByteBuffer position limit flip
java 检查bytebuf长度_Java网络编程 -- Netty中的ByteBuf
weixin_34261380的博客
02-26 562
由于JDK中提供的ByteBuffer无法动态扩容，并且API使用复杂等原因，Netty中提供了ByteBuf。Bytebuf的API操作更加便捷，可以动态扩容，提供了多种ByteBuf的实现，以及高效的零拷贝机制。ByteBuf的操作ByteBuf有三个重要的属性：capacity容量，readerIndex读取位置，writerIndex写入位置提供了readerIndex和weiterInd...
java 检查bytebuf长度_Netty之缓冲区ByteBuf解读（一）
weixin_39889487的博客
02-26 461
Netty 在数据传输过程中，会使用缓冲区设计来提高传输效率。虽然，Java 在 NIO 编程中已提供 ByteBuffer 类进行使用，但是在使用过程中，其编码方式相对来说不太友好，也存在一定的不足。所以高性能的 Netty 框架实现了一套更加强大，完善的 ByteBuf，其设计理念也是堪称一绝。ByteBuffer 分析在分析 ByteBuf 之前，先简单讲下 ByteBuffer 类的操作。...
一起学Netty（五）之 初识ByteBuf和ByteBuf的常用API
热门推荐
BazingaLyncc
05-07 4万+
网络传输的载体是byte，这是任何框架谁也逃脱不了的一种规定，JAVA的NIO提供了ByteBuffer，用来完成这项任务，当然ByteBuffer也很好的完成了这个任务，Netty也提供了一个名字很相似的载体叫做ByteBuf，相比于ByteBuf而言，它有着更加更多友善的API,也更加易于维护，并且它可以扩容 一般来说，ByteBuf都是维护一个byte数组的，它的内部格式是
ByteBuf用法
a670941001的博客
03-02 8027
JDK NIO之ByteBuffer的局限性如下： （1）长度固定，一旦分配完成，它的容量将不能动态扩展和收缩，而需要编码的POJO对象大雨ByteBuffer的容量时，会发生索引越界异常； （2）只有一个标识位置的指针position，读写的是偶需要搜公条用flip（）和rewind（）等，使用着必须小心的处理这些API，否则很容易导致程序越界异常； （3）ByteBuffer的API功能有限，...
ByteBuf源码
weixin_30502965的博客
05-20 78
　　ByteBuf是顶层的抽象类，定义了用于传输数据的ByteBuf需要的方法和属性。 AbstractByteBuf 　　直接继承ByteBuf，一些公共属性和方法的公共逻辑会在这里定义。例如虽然不同性质的ByteBuf底层实现不同如堆Buffer和直接Buffer，但在进行数据写入的时候都要检查并移动readIndex，因此诸如检查并移动readIndex的方法就抽取并定义在Ab...
netty那些bytebuf踩过的坑
natural_的博客
06-01 2万+
程序超过256个字节以后用抓包工具抓包显示消息已经发送给服务端并且服务端也回发了ack表示已经收到了，但是在read方法里并没有收到消息。 几经辗转发现问题出现在编解码器上，自己定义的解码器是这样的： ByteBuf heapBuffer = ctx.alloc().heapBuffer(); in.readBytes(heapBuffer, in.resetReaderInd...
Netty专栏 （ 三）——— Netty的ByteBuf
thinking_fioa的博客
06-24 3万+
@author 鲁伟林 记录《Netty 实战》中各章节学习过程，写下一些自己的思考和总结，帮助使用Netty框架的开发技术人员们，能够有所得，避免踩坑。 本博客目录结构将严格按照书本《Netty 实战》，省略与Netty无关的内容，可能出现跳小章节。 本博客中涉及的完整代码： GitHub地址: https://github.com/thinkingfioa/netty-learning/tr...
解读Netty之接收缓冲区
星宇环点
02-22 2万+
概述用过netty，大家都知道在请求处理之前，会有一个缓冲区用于接受数据，不同场景对缓冲的大小都不太一样。 比如UDP协议的DatagramChannel，默认缓冲区大小只给了2048，而假如开发一个SyslogUdp的协议服务，大小其实就不止这么点。因此，缓冲区怎么用，怎么设置就非常关键啦，很不小心就会踩坑，本文主要给大家讲解下netty4下接受缓冲区的原理及对源码进行解读…结构分解Netty的
Netty之ByteBuf
猎户星座
07-17 650
什么是ByteBuf ByteBuf是Netty中非常重要的一个组件，他就像物流公司的运输工具：卡车，火车，甚至是飞机。而物流公司靠什么盈利，就是靠运输货物，可想而知ByteBuf在Netty中是多么的重要。没有了ByteBuf，Netty就失去了灵魂，其他所有的都将变得毫无意义。 ByteBuf是由Byte和Buffer两个词组合成的一个词，但是因...
Netty基础必备知识，ByteBuffer和ByteBuf底层原理
叶新东老师的博客
10-24 1858
前言 本文章只讨论ByteBuffer和ByteBuf的底层结构的区别，如果想要了解堆内内存和堆外内存的区别，请看我的另一篇文章：java堆外内存详解（又名直接内存）和ByteBuffer 什么是Buffer 中文称为缓冲区，指的是从网络或者文件读写数据的时候，在他们中间多了个缓冲区，应用程序只需要对着缓冲区 进行读写即可；然后缓冲区在将数据复制到内核或者从内核读取数据；这种方式加快读写速度，减少了IO次数；小文件的读写用不用缓冲区速度都没有多大区别，但是当我们进行大文件进行读写的时候一般都会使用到缓冲区；
PooledByteBuf分配及回收之一PooledByteBufAllocator初始化
AnY11的专栏
01-24 1056
接口ByteBufAllocator中定义了一个默认的ByteBufAllocator DEFAULT =ByteBufUtil.DEFAULT_ALLOCATOR,跟进去: ​ static final ByteBufAllocator DEFAULT_ALLOCATOR; static { //非安卓返回pooled String allocType = SystemPropertyUtil.get( "io.netty.allocator.type", ...
netty byteBuf使用
fivestar2009的博客
03-17 2986
package com.wang.wzrtunetty; import org.apache.cassandra.cli.CliParser.newColumnFamily_return; import com.wang.util.ByteUtil; import io.netty.buffer.ByteBuf; import io.netty.buffer.ByteBufAllocator; import io.netty.buffer.ByteBufAllocatorMetricProvider;

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JolyouLu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值