基于Netty实现自定义消息通信协议（协议设计及解析应用实战）

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

}

}

MessageRecordDecode

---

@Slf4j

public class MessageRecordDecode extends ByteToMessageDecoder {

@Override

protected void decode(ChannelHandlerContext channelHandlerContext, ByteBuf byteBuf, List list) throws Exception {

MessageRecord record=new MessageRecord();

Header header=new Header();

header.setSessionId(byteBuf.readLong()); //读取8个字节的sessionid

header.setType(byteBuf.readByte()); //读取一个字节的操作类型

record.setHeader(header);

//如果byteBuf剩下的长度还有大于4个字节，说明body不为空

if(byteBuf.readableBytes()>4){

int length=byteBuf.readInt(); //读取四个字节的长度

header.setLength(length);

byte[] contents=new byte[length];

byteBuf.readBytes(contents,0,length);

ByteArrayInputStream bis=new ByteArrayInputStream(contents);

ObjectInputStream ois=new ObjectInputStream(bis);

record.setBody(ois.readObject());

list.add(record);

log.info(“序列化出来的结果：”+record);

}else{

log.error(“消息内容为空”);

}

}

}

测试协议的解析和编码

---

EmbeddedChannel是netty专门改进针对ChannelHandler的单元测试而提供的

public class CodesMainTest {

public static void main( String[] args ) throws Exception {

EmbeddedChannel channel=new EmbeddedChannel(

new LoggingHandler(),

new MessageRecordEncoder(),

new MessageRecordDecode());

Header header=new Header();

header.setSessionId(123456);

header.setType(OpCode.PING.code());

MessageRecord record=new MessageRecord();

record.setBody(“Hello World”);

record.setHeader(header);

channel.writeOutbound(record);

ByteBuf buf= ByteBufAllocator.DEFAULT.buffer();

new MessageRecordEncoder().encode(null,record,buf);

channel.writeInbound(buf);

}

}

编码包分析

---

运行上述代码后，会得到下面的一个信息

±------------------------------------------------+

| 0 1 2 3 4 5 6 7 8 9 a b c d e f |

±-------±------------------------------------------------±---------------+

|00000000| 00 00 00 00 00 01 e2 40 03 00 00 00 12 ac ed 00 |…@…|

|00000010| 05 74 00 0b 48 65 6c 6c 6f 20 57 6f 72 6c 64 |.t…Hello World |

±-------±------------------------------------------------±---------------+

按照协议规范：

• 前面8个字节表示sessionId

• 一个字节表示请求类型

• 4个字节表示长度

• 后面部分内容表示消息体

测试粘包和半包问题

=========

通过slice方法进行拆分，得到两个包。

ByteBuf中提供了一个slice方法，这个方法可以在不做数据拷贝的情况下对原始ByteBuf进行拆分。

public class CodesMainTest {

public static void main( String[] args ) throws Exception {

//EmbeddedChannel是netty专门针对ChannelHandler的单元测试而提供的类。可以通过这个类来测试channel输入入站和出站的实现

EmbeddedChannel channel=new EmbeddedChannel(

//解决粘包和半包问题

// new LengthFieldBasedFrameDecoder(2048,10,4,0,0),

new LoggingHandler(),

new MessageRecordEncoder(),

new MessageRecordDecode());

Header header=new Header();

header.setSessionId(123456);

header.setType(OpCode.PING.code());

MessageRecord record=new MessageRecord();

record.setBody(“Hello World”);

record.setHeader(header);

channel.writeOutbound(record);

ByteBuf buf= ByteBufAllocator.DEFAULT.buffer();

new MessageRecordEncoder().encode(null,record,buf);

//模拟半包和粘包问题***//

//把一个包通过slice拆分成两个部分

ByteBuf bb1=buf.slice(0,7); //获取前面7个字节

ByteBuf bb2=buf.slice(7,buf.readableBytes()-7); //获取后面的字节

bb1.retain();

channel.writeInbound(bb1);

channel.writeInbound(bb2);

}

}

运行上述代码会得到如下异常， readerIndex(0) +length(8)表示要读取8个字节，但是只收到7个字节，所以直接报错。

2021-08-31 15:53:01,385 [io.netty.handler.logging.LoggingHandler]-[DEBUG] [id: 0xembedded, L:embedded - R:embedded] READ: 7B

±------------------------------------------------+

| 0 1 2 3 4 5 6 7 8 9 a b c d e f |

±-------±------------------------------------------------±---------------+

|00000000| 00 00 00 00 00 01 e2 |… |

±-------±------------------------------------------------±---------------+

2021-08-31 15:53:01,397 [io.netty.handler.logging.LoggingHandler]-[DEBUG] [id: 0xembedded, L:embedded - R:embedded] READ COMPLETE

Exception in thread “main” io.netty.handler.codec.DecoderException: java.lang.IndexOutOfBoundsException: readerIndex(0) + length(8) exceeds writerIndex(7): UnpooledSlicedByteBuf(ridx: 0, widx: 7, cap: 7/7, unwrapped: PooledUnsafeDirectByteBuf(ridx: 0, widx: 31, cap: 256))

解决拆包问题

======

LengthFieldBasedFrameDecoder是长度域解码器，它是解决拆包粘包最常用的解码器，基本上能覆盖大部分基于长度拆包的场景。其中开源的消息中间件RocketMQ就是使用该解码器进行解码的。

首先来说明一下该解码器的核心参数

• lengthFieldOffset，长度字段的偏移量，也就是存放长度数据的起始位置

• lengthFieldLength，长度字段锁占用的字节数

• lengthAdjustment，在一些较为复杂的协议设计中，长度域不仅仅包含消息的长度，还包含其他数据比如版本号、数据类型、数据状态等，这个时候我们可以使用lengthAdjustment进行修正，它的值=包体的长度值-长度域的值

• initialBytesToStrip，解码后需要跳过的初始字节数，也就是消息内容字段的起始位置

• lengthFieldEndOffset，长度字段结束的偏移量， 该属性的值=lengthFieldOffset+lengthFieldLength

public class CodesMainTest {

public static void main( String[] args ) throws Exception {

EmbeddedChannel channel=new EmbeddedChannel(

//解决粘包和半包问题

new LengthFieldBasedFrameDecoder(1024,

9,4,0,0),

new LoggingHandler(),

new MessageRecordEncoder(),

new MessageRecordDecode());

Header header=new Header();

header.setSessionId(123456);

header.setType(OpCode.PING.code());

MessageRecord record=new MessageRecord();

record.setBody(“Hello World”);

record.setHeader(header);

channel.writeOutbound(record);

ByteBuf buf= ByteBufAllocator.DEFAULT.buffer();

new MessageRecordEncoder().encode(null,record,buf);

//模拟半包和粘包问题***//

//把一个包通过slice拆分成两个部分

ByteBuf bb1=buf.slice(0,7);

ByteBuf bb2=buf.slice(7,buf.readableBytes()-7);

bb1.retain();

channel.writeInbound(bb1);

channel.writeInbound(bb2);

}

}

添加一个长度解码器，就解决了拆包带来的问题。运行结果如下

2021-08-31 16:09:35,115 [com.netty.example.codec.MessageRecordDecode]-[INFO] 序列化出来的结果：MessageRecord(header=Header(sessionId=123456, type=3, length=18), body=Hello World)

2021-08-31 16:09:35,116 [io.netty.handler.logging.LoggingHandler]-[DEBUG] [id: 0xembedded, L:embedded - R:embedded] READ COMPLETE

基于自定义消息协议通信

===========

下面我们把整个通信过程编写完整，代码结构如图4-2所示.

图4-2

服务端开发

---

@Slf4j

public class ProtocolServer {

public static void main(String[] args){

EventLoopGroup boss = new NioEventLoopGroup();

//2 用于对接受客户端连接读写操作的线程工作组

EventLoopGroup work = new NioEventLoopGroup();

ServerBootstrap b = new ServerBootstrap();

b.group(boss, work) //绑定两个工作线程组

.channel(NioServerSocketChannel.class) //设置NIO的模式

// 初始化绑定服务通道

.childHandler(new ChannelInitializer() {

@Override

protected void initChannel(SocketChannel sc) throws Exception {

sc.pipeline()

.addLast(

new LengthFieldBasedFrameDecoder(1024,

9,4,0,0))

.addLast(new MessageRecordEncoder())

.addLast(new MessageRecordDecode())

.addLast(new ServerHandler());

}

});

ChannelFuture cf= null;

try {

cf = b.bind(8080).sync();

log.info(“ProtocolServer start success”);

cf.channel().closeFuture().sync();

} catch (InterruptedException e) {

e.printStackTrace();

}finally {

work.shutdownGracefully();

boss.shutdownGracefully();

}

}

}

ServerHandler

---

@Slf4j

public class ServerHandler extends ChannelInboundHandlerAdapter {

@Override

public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {

MessageRecord messageRecord=(MessageRecord)msg;

log.info(“server receive message:”+messageRecord);

MessageRecord res=new MessageRecord();

Header header=new Header();

header.setSessionId(messageRecord.getHeader().getSessionId());

header.setType(OpCode.BUSI_RESP.code());

String message=“Server Response Message!”;

res.setBody(message);

header.setLength(message.length());

ctx.writeAndFlush(res);

}

@Override

public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {

log.error(“服务器读取数据异常”);

super.exceptionCaught(ctx, cause);

ctx.close();

}

}

客户端开发

---

public class ProtocolClient {

public static void main(String[] args) {

//创建工作线程组

EventLoopGroup group = new NioEventLoopGroup();

Bootstrap b = new Bootstrap();

b.group(group).channel(NioSocketChannel.class)

.handler(new ChannelInitializer() {

@Override

public void initChannel(SocketChannel ch) throws Exception {

ch.pipeline().addLast(new LengthFieldBasedFrameDecoder(1024,

9,4,0,0))

.addLast(new MessageRecordEncoder())

.addLast(new MessageRecordDecode())

.addLast(new ClientHandler());

}

});

// 发起异步连接操作

try {

ChannelFuture future = b.connect(new InetSocketAddress(“localhost”, 8080)).sync();

Channel c = future.channel();

for (int i = 0; i < 500; i++) {

最后

由于篇幅原因，就不多做展示了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ddress(“localhost”, 8080)).sync();

Channel c = future.channel();

for (int i = 0; i < 500; i++) {

最后

[外链图片转存中…(img-Je72ajxd-1713694365763)]

[外链图片转存中…(img-sXzO8WVS-1713694365764)]

[外链图片转存中…(img-W9pL7wdd-1713694365764)]

[外链图片转存中…(img-SejdPMtk-1713694365765)]

[外链图片转存中…(img-GGBmFih0-1713694365765)]

[外链图片转存中…(img-qhHjRB54-1713694365766)]

由于篇幅原因，就不多做展示了

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-1hXQTSyZ-1713694365766)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！