网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
引出 新的解决方案 [Google的Protobuf
]
1、Protobuf 基本介绍
- Protobuf 是 Google 发布的开源项目,全称 Google Protocol Buffers,是一种轻便高效的结构化数据存储格式,
可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC[远程过程调用 remote procedure call ] 数据交换格式 。目前很多公司http+json
—> tcp+protobuf
-
参考文档 :
https://developers.google.com/protocol-buffers/docs/proto
语言指南 -
Protobuf 是以
message 的方式
来管理数据的. -
支持跨平台、跨语言,即[客户端和服务器端可以是不同的语言编写的] (支持目前绝大多数语言,例如 C++、C#、Java、python 等)
-
高性能,高可靠性
-
使用 protobuf 编译器能自动生成代码,Protobuf 是将类的定义使用.proto 文件进行描述。说明,在 idea 中编
写 .proto 文件时,会自动提示是否下载 .ptotot
编写插件. 可以让语法高亮。
- 然后通过 protoc.exe 编译器根据.proto 自动生成.java 文件
2、protobuf 使用示意图
编写程序,使用 Protobuf 完成如下功能
-
客户端可以发送一个 Student PoJo 对象到服务器 (通过 Protobuf 编码)
-
服务端能接收 Student PoJo 对象,并显示信息(通过 Protobuf 解码)
- 代码
引入maven依赖
com.google.protobuf
protobuf-java
3.6.1
Student.proto文件
syntax=“proto3”;//协议版本
option java_outer_classname=“StudentPOJO”;//生成的外部类名,同时也是文件名
//protobuf使用message的形式管理数据
message Student{//会在StudentPOJO外部类,生成一个内部类。这个内部类的名称为Student,他是真正发送的POJO对象
int32 id = 1;//Student类中有一个属性,类型为int32,属性名为id,属性的序号为1(不代表值)。
string name = 2;
}
编译
protoc.exe --java_out=. Student.proto
将生成的 StudentPOJO 放入到项目使用
具体代码地址: https://github.com/qq995931576/netty/tree/master/netty-demo/src/main/java/com/achang/netty/codec
-
编写程序,使用 Protobuf 完成如下功能
-
客户端可以随机发送 Student PoJo/ Worker PoJo 对象到服务器 (通过 Protobuf 编码)
-
服务端能接收 Student PoJo/ Worker PoJo 对象(需要判断是哪种类型),并显示信息(通过 Protobuf 解码)
- 代码
Student.proto文件
syntax=“proto3”;
option optimize_for=SPEED;//加快解析
option java_package=“com.achang.netty.codec2”;//指定生成到哪个包下
option java_outer_classname=“MyDataInfo”;//外部类名称,文件名
//protobuf可以使用message来管理其他message
message MyMessage{
//定义一个枚举
enum DataType{
StudentType=0;//在proto3 要求enum的编号从0开始
WorkerType=1;
}
//用data_type来标识传的是哪个枚举类型
DataType data_type=1;
//表示每次枚举类型最多只能出现其中的一个,节省空间
oneof dataBody{
Student student = 2;
Worker worker = 3;
}
}
message Student{
int32 id = 1;//Student类的属性
string name = 2;
}
message Worker{
string name =1;
int32 age=2;
}
编译的方式跟上面一样
具体代码地址:https://github.com/qq995931576/netty/tree/master/netty-demo/src/main/java/com/achang/netty/codec2
===================================================================================
-
netty 的组件设计:Netty 的主要组件有
-
Channel
-
EventLoop
-
ChannelFuture
-
ChannelHandler
-
ChannelPipe 等
-
ChannelHandler 充当了处理
入站
和出站
数据的应用程序逻辑的容器。 -
例如,实现 ChannelInboundHandler 接口(或ChannelInboundHandlerAdapter),你就可以接收入站事件和数据,这些数据会被业务逻辑处理。当要给客户端发 送 响 应 时 , 也 可 以 从ChannelInboundHandler 冲 刷 数 据 。
-
业 务 逻 辑 通 常 写 在 一 个 或 者 多 个ChannelInboundHandler 中。
-
ChannelOutboundHandler 原理一样,只不过它是用来处理出站数据的
-
ChannelPipeline 提供了
ChannelHandler 链的容器
。 -
以
客户端应用程序为例
,如果事件的运动方向是从客户端到服务端的,那么我们称这些事件为出站
的即客户端发送给服务端的数据会通过 pipeline 中的一系列ChannelOutboundHandler,并被这些 Handler 处理,反之则称为入站
的
-
当 Netty 发送或者接受一个消息的时候,就将会发生一次
数据转换
。 -
入站
消息会被解码
:从字节转换为另一种格式(比如 java 对象); -
如果是
出站
消息,它会被编码
成字节。
-
Netty 提供一系列实用的编解码器,他们都实现了 ChannelInboundHadnler 或者ChannelOutboundHandler 接口。
-
在这些类中,channelRead 方法已经被重写了。
-
以入站为例,对于每个从入站 Channel 读取的消息,这个方法会被调用。(
解码
) -
随后,它将调用由解码器所提供的
decode()方法
进行解码,并将已经解码的字节转发给 ChannelPipeline中的下一个 ChannelInboundHandler
。
- 关系继承图
-
由于不可能知道
远程节点是否会一次性发送一个完整的信息
,tcp 有可能出现粘包拆包的问题,这个类会对入站数据进行缓冲,直到它准备好被处理. -
一个关于 ByteToMessageDecoder 实例分析
- 实例要求:
使用自定义的编码器和解码器来说明 Netty 的 handler 调用机制
客户端发送 long -> 服务器
服务端发送 long -> 客户端
代码地址:https://github.com/qq995931576/netty/tree/master/netty-demo/src/main/java/com/achang/netty/InboundandoutboundHandler
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
ext_Q1NETiBA6Zi_5piM5Zac5qyi5ZCD6buE5qGD,size_19,color_FFFFFF,t_70,g_se,x_16)
[外链图片转存中…(img-MbCMkjYL-1715834073736)]
[外链图片转存中…(img-h3iI525k-1715834073736)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!