标准编解码库：ByteToMessageDecoder

原创 已于 2023-02-11 22:47:17 修改 · 857 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #java #网络

于 2022-10-22 09:15:24 首次发布
本文详细介绍了如何在TCP通信中处理粘包和拆包问题，主要讲解了使用Netty提供的ByteToMessageDecoder子类如LineBasedFrameDecoder、DelimiterBasedFrameDecoder和FixedLengthFrameDecoder等实现自定义解码。同时列举了Netty的一系列标准解码器，如WebSocket、Mqtt、HTTP等协议的解码器，并以MqttDecoder和LineBasedFrameDecoder为例进行了源码分析，帮助读者理解解码过程及其在实际应用中的使用方式。

【1】实现粘包和拆包

如果要自己进行上行消息解码，通常需要两个 ChannelHandler 来实现，第一个 handler 则实现一个 ByteToMessageDecoder 子类将原始数据转为自定义格式（需要解决粘包和拆包）。再将自定义格式传给第二个 handler，实现一个 SimpleChannelInboundHandler<I> 进行业务处理，其中 <I> 就是由第一个 handler 转化能得到的类型。例如很多公司使用  json/string+分隔符 或者定长 进行消息透传，则通常下面几个即可实现：

LineBasedFrameDecoder：通过换行符进行拆包粘包处理，\n或者\r\n。

DelimiterBasedFrameDecoder：通过指定分隔符进行粘包拆包处理。

FixedLengthFrameDecoder：通过固定长度进行粘包拆包处理。

SimpleChannelInboundHandler<Clazz>：由Decoder进行基础帧解码后合并为一个自定义完整包进行后续处理。

【2】标准解码器

也就是说实现粘包、拆包需要实现一个 ByteToMessageDecoder 子类将 tcp 传递的流式数据正确拆分为若干个自定义包对象，实际上 netty 解码器已经实现了一系列标准解码器可供选择：

io.netty.handler.codec.http.websocketx.WebSocket00FrameDecoder

io.netty.handler.codec.memcache.AbstractMemcacheObjectDecoder

io.netty.handler.codec.mqtt.MqttDecoder

io.netty.handler.codec.socksx.v5.Socks5InitialRequestDecoder

io.netty.handler.codec.socksx.v4.Socks4ClientDecoder

io.netty.handler.codec.LineBasedFrameDecoder

io.netty.handler.codec.http.websocketx.WebSocket07FrameDecoder

io.netty.handler.codec.rtsp.RtspDecoder

io.netty.handler.codec.smtp.SmtpResponseDecoder

io.netty.handler.codec.rtsp.RtspObjectDecoder

io.netty.handler.codec.DelimiterBasedFrameDecoder

io.netty.handler.codec.rtsp.RtspResponseDecoder

io.netty.handler.codec.LengthFieldBasedFrameDecoder

io.netty.handler.codec.marshalling.MarshallingDecoder

io.netty.handler.codec.http2.Http2FrameCodec

io.netty.handler.codec.rtsp.RtspRequestDecoder

io.netty.handler.codec.compression.Bzip2Decoder

io.netty.handler.codec.socksx.v5.Socks5CommandResponseDecoder

io.netty.handler.codec.socks.SocksCmdResponseDecoder

io.netty.handler.codec.compression.LzfDecoder

io.netty.handler.codec.socksx.SocksPortUnificationServerHandler

io.netty.handler.codec.http2.CleartextHttp2ServerUpgradeHandler

io.netty.handler.codec.http.HttpObjectDecoder

io.netty.handler.codec.marshalling.CompatibleMarshallingDecoder

io.netty.handler.codec.compression.JdkZlibDecoder

io.netty.handler.codec.memcache.binary.BinaryMemcacheClientCodec$Decoder

io.netty.handler.codec.socks.SocksCmdRequestDecoder

io.netty.handler.codec.http2.HttpToHttp2ConnectionHandler

io.netty.handler.codec.xml.XmlFrameDecoder

io.netty.handler.codec.compression.ZlibDecoder

io.netty.handler.codec.socksx.v4.Socks4ServerDecoder

io.netty.handler.codec.json.JsonObjectDecoder

io.netty.handler.codec.memcache.binary.AbstractBinaryMemcacheDecoder

io.netty.handler.codec.socksx.v5.Socks5InitialResponseDecoder

io.netty.handler.codec.http2.Http2ConnectionHandler

io.netty.handler.codec.memcache.binary.BinaryMemcacheResponseDecoder

io.netty.handler.codec.memcache.binary.BinaryMemcacheRequestDecoder

io.netty.handler.codec.http.HttpServerCodec$HttpServerRequestDecoder

io.netty.handler.codec.socksx.v5.Socks5PasswordAuthResponseDecoder

io.netty.handler.codec.compression.BrotliDecoder

io.netty.handler.codec.protobuf.ProtobufVarint32FrameDecoder

io.netty.handler.codec.compression.FastLzFrameDecoder

io.netty.handler.codec.socks.SocksAuthRequestDecoder

io.netty.handler.codec.redis.RedisDecoder

io.netty.handler.codec.compression.SnappyFrameDecoder

io.netty.handler.codec.stomp.StompSubframeDecoder

io.netty.handler.codec.socksx.v5.Socks5CommandRequestDecoder

io.netty.handler.codec.http.HttpClientCodec$Decoder

io.netty.handler.codec.http.HttpRequestDecoder

io.netty.handler.codec.socks.SocksAuthResponseDecoder

io.netty.handler.codec.spdy.SpdyFrameCodec

io.netty.handler.codec.dns.TcpDnsResponseDecoder

io.netty.handler.codec.dns.TcpDnsQueryDecoder

io.netty.handler.codec.socks.SocksInitRequestDecoder

io.netty.handler.codec.haproxy.HAProxyMessageDecoder

io.netty.handler.codec.http.websocketx.WebSocket08FrameDecoder

io.netty.handler.codec.http2.Http2MultiplexCodec

io.netty.handler.codec.serialization.ObjectDecoder

io.netty.handler.codec.compression.JZlibDecoder

io.netty.handler.codec.compression.Lz4FrameDecoder

io.netty.handler.codec.FixedLengthFrameDecoder

io.netty.handler.codec.compression.SnappyFramedDecoder

io.netty.handler.codec.xml.XmlDecoder

io.netty.handler.codec.ReplayingDecoder

io.netty.handler.codec.socksx.v5.Socks5PasswordAuthRequestDecoder

io.netty.handler.codec.http.websocketx.WebSocket13FrameDecoder

io.netty.handler.codec.socks.SocksInitResponseDecoder

io.netty.handler.codec.ByteToMessageCodec$1

io.netty.handler.codec.http.HttpResponseDecoder

【3】源码分析：io.netty.handler.codec.mqtt.MqttDecoder

使用样例：

源码分析：

【3】源码分析：io.netty.handler.codec.LineBasedFrameDecoder

源码分析：

Netty网络编程四：Netty粘包拆包解码器之ByteToMessageDecoder
shelly南瓜
03-12 3958
一：ByteToMessageDecoder的作用 ByteToMessageDecoder在Netty中主要是用来解决半包积累的问题，是一种解码器，LineBasedFrameDecoder ，DelimiterBasedFrameDecoder，FixedLengthFrameDecoder都是其的一种具体的实现。因为要想netty解决半包拆包问题，需要从认识ByteToMessageDeco...
netty源码：（38）ByteToMessageDecoder类
amadeus_liu2的博客
12-27 750
ByteToMessageDecoder是一个解码器,是一个ChannelInboundHandlerAdapter,它用来将ByteBuf中的字节流解析成另外的消息格式。它的核心方法是decode,ByteToMessageDecoder类不能被标记为@ChannelHandler.Sharable,因为ByteToMessageDecoder通常包含状态信息，共享的话会造成多线程问题。decode方法的in参数表示接收字节的来源，out参数表示节码之后输出的目的地。
Netty 解码器深入分析：调用时机与继承关系
m0_71749752的博客
07-23 993
定义：解码器是 Netty 中用来从 ByteBuf 中提取消息内容的组件。作用：将字节流转化为 Java 对象，以供业务层处理。常见解码器：LengthFieldBasedFrameDecoder、LineBasedFrameDecoder、DelimiterBasedFrameDecoder等。类定义：LineBasedFrameDecoder是一个基于行分隔符的帧解码器，通常用于处理类似HTTP、IRC 等协议。构造方法：maxLength：设置消息的最大长度，用于防止无限制读取数据。
怎么使用Netty解码自定义通信协议
m0_71777195的博客
07-17 583
Netty 作为一个非常优秀的网络通信框架，已经为我们提供了非常丰富的编解码抽象基类，帮助我们更方便地基于这些抽象基类扩展实现自定义协议。MessageToByteEncoder 对象编码成字节流；MessageToMessageEncoder 一种消息类型编码成另外一种消息类型。将字节流解码为消息对象；MessageToMessageDecoder 将一种消息类型解码为另外一种消息类型。
ByteToMessageDecoder
weixin_34187822的博客
07-04 1062
io.netty.handler.codec.ByteToMessageDecoder ChannelInboundHandlerAdapter which decodes bytes in a stream-like fashion from one ByteBuf to an other Message type. For example here is an implemen...
Netty源码解析之ByteToMessageDecoder
0xZzzz的博客
08-08 1600
阅读须知 Netty版本：4.1.14.Final 文章中使用/* */注释的方法会做深入分析 正文 之前我们介绍了ChannelHandler，这篇文章我们来介绍一个具体的子类实现ByteToMessageDecoder，它是一个抽象类，继承了ChannelInboundHandlerAdapter，所以它处理入站事件，从命名上可以看出，它是一个解码器，用于将ByteBuf解码成P...
Netty的编解码器：实现自定义的协议和数据交换格式
# 1. 引言 ...在实际的网络传输过程中，不同的数据格式需要通过编解码器进行转换才能进行有效的传输和解析。编码器将应用程序数据转换为网络传输的格式，而解码器则负责将传输的数据转换回应用程序能
基于Netty的MQTT3/5编解码器实现高性能物联网通信
采用Netty作为底层网络通信框架，结合MQTT 3.1.1与MQTT 5.0协议标准，实现了完整的协议编解码功能，并支持TCP长连接和WebSocket双传输模式。该组件本质上是一个基于Java NIO的异步事件驱动网络编程库，专为物联网...
识别并解码附件中使用的特殊通信协议，以获取隐藏信息。
最新发布
08-11
根据引用[4]，我们需要实现自定义的编解码器（Codec）。具体步骤包括： 1. **定义协议格式**：类似于引用[2]中的`.proto`文件，我们可以定义一个协议描述文件（即使不是用Protobuf，也可以作为文档）。 2. **编写...
【Java面试笔记：应用】38.对比Java标准NIO类库，你知道Netty是如何实现更高性能的吗？
RickyIT的专栏
05-04 886
减少线程切换开销，支持主从Reactor模式（如。等技术，减少内存复制，提升I/O效率。，支持引用计数和内存池，降低GC压力。）和高效编解码框架，简化协议处理。），优化加密等操作的性能。通过JNI调用本地库（如。
Netty服务器中的JSON解析技术解析
- ByteToMessageDecoder：Netty的解码器，用于将接收到的字节流转换为消息。 - MessageToByteEncoder：Netty的编码器，用于将消息编码为字节流。 - SimpleChannelInboundHandler：这是一个特殊的...
一起学Netty（八）之 浅析ByteToMessageDecoder
热门推荐
BazingaLyncc
05-11 1万+
上一节一起学习了几个解码器，用于解决TCP协议网络传输过程中粘包和拆包的问题，用过Netty的人总会说一句话“用Netty一定要了解一下它的底层原理，这样才敢用”，其实很有感悟，Netty in action 这本书中也有一个章节分析了codec，也定义了几个自定义的译码器，但是它自定义的几个译码器全部是继承与ByteToMessageDecoder的，我们上文中的几个解码器例如DelimiterBasedFrameDecoder，FixedLengthFrameDecoder，LineBasedFrame
Netty 学习笔记二 ByteToMessageDecoder使用
猿来这样-谢厂节的博客
05-21 1万+
服务端使用上节的 Netty Time服务端 对客户端进行改写： package io.netty.example.time; import java.util.List; import io.netty.buffer.ByteBuf; import io.netty.channel.ChannelHandlerContext; import io.netty.handler.codec.
java netty之ByteToMessageDecoder
fjs的专栏
07-17 7219
在上面的一篇文章中，有说明ByteToMessageDecoder是怎么使用的，那么这一篇就来讲讲它是怎么实现的。。 首先还是来看一下它的继承体系： 它直接继承自ChannelInboundByteHandlerAdapter类型，至于说这个类型的介绍，在前面的文章中就已经有了说明，无非是实现了那些inboundhandler的方法，不过实现的都非常的粗糙，另外一些handler可以直
＜2021SC@SDUSC＞ByteToMessageDecoder
vrpseva的博客
12-26 406
2021SC@SDUSC 文章目录前言一、ByteToMessageDecoder二、callDecode三、channelRead四、总结 前言 在之前的几篇博客中，分析了几种netty内置的解码器，它们都继承了ByteToMessageDecoder类，也分析了它们对消息的解码过程，也就是decode方法。在本篇博客中，只会简单地介绍ByteToMessageDecoder类调用decode的过程。 一、ByteToMessageDecoder ByteToMessageDecoder类继承自Chann
Netty源码学习之ByteToMessageDecoder的浅谈分析
gelong_bokewang的博客
07-20 973
一、简介ByteToMessageDecoder类 浅谈Netty的源码学习之ByteToMessageDecoder，这个解码器是Netty诸多解码的父类解码器，下图就是ByteToMessageDecoder类的子类和父类以及实现的接口类关系。 通过上面两张图片我们可以清晰看到有诸多子类是实现了ByteToMessageDecoder类的。 下面我们说说ByteToMessageDecoder的主要功能，它主要就是实现入站操作，它是一个不能共享的解码器，因为需要存还没有解码完的数据，还有各
吃透Netty源码系列三十八之ByteToMessageDecoder详解
王伟王胖胖的博客
02-26 6620
吃透Netty源码系列三十八之ByteToMessageDecoder详解ByteToMessageDecoder重要属性MERGE_CUMULATOR合并累加器COMPOSITE_CUMULATOR复合累加器抽象方法decodechannelRead读方法callDecode解码fireChannelRead传递消息列表中的消息decodeRemovalReentryProtection调用子类...
Netty 解决粘包半包 解码器ByteToMessageDecoder
anLA_的专栏
12-14 3286
什么是粘包半包？ tcp是基于报文的协议，当使用netty传输数据时，可能一次读数据不是一个完整的数据，可能读取的是一半或者多余具体应用层数据的数据。 如何解决这样的问题呢？ 可以用一个全局缓存池，每次解码器进行解码时，只能解码一个完整数据，不够或者多余则放到下次解码。 ByteToMessageDecoder 就是这样解决这样的问题的。
Netty源码分析第6章(解码器)---->第1节: ByteToMessageDecoder
weixin_30783629的博客
01-01 316
Netty源码分析第6章(解码器)---->第1节: ByteToMessageDecoder Netty源码分析第六章: 解码器 概述: 在我们上一个章节遗留过一个问题, 就是如果Server在读取客户端的数据的时候, 如果一次读取不完整, 就触发channelRead事件, 那么Netty是如何处...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

0x13

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值