Netty 系列之编解码器和 handler 的调用机制

本文介绍了Netty的编解码器和handler的调用机制,涉及到Java序列化的问题及Google的Protobuf作为替代方案。文章详细讲解了Protobuf的基本概念和优势,并探讨了TCP粘包和拆包的现象及其解决方案,阐述了Netty中ByteToMessageDecoder等解码器的工作原理,以及handler链的调用流程。
摘要由CSDN通过智能技术生成

编码和解码的基本介绍

  • 编写网络应用程序时,因为数据在网络中传输的都是二进制字节码数据,在发送数据时就需要编码,接收数据时就需要解码

  • codec(编解码器) 的组成部分有两个:decoder(解码器)和 encoder(编码器)。encoder 负责把业务数据转换成字节码数据,decoder 负责把字节码数据转换成业务数据

Netty 本身的编码解码的机制和问题分析

  • Netty 自身提供了一些 codec(编解码器)

  • Netty 提供的编码器

  • StringEncoder,对字符串数据进行编码

  • ObjectEncoder,对 Java 对象进行编码

  • Netty 提供的解码器

  • StringDecoder, 对字符串数据进行解码

  • ObjectDecoder,对 Java 对象进行解码

  • Netty 本身自带的 ObjectDecoder 和 ObjectEncoder 可以用来实现 POJO 对象或各种业务对象的编码和解码,底层使用的仍是 Java 序列化技术 , 而 Java 序列化技术本身效率就不高,存在如下问题

  • 无法跨语言

  • 序列化后的体积太大,是二进制编码的 5 倍多。

  • 序列化性能太低=> 引出 新的解决方案 [Google 的 Protobuf]

Java 序列化

Protobuf 基本介绍

  • Protobuf 是 Google 发布的开源项目,全称 Google Protocol Buffers,是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC[远程过程调用 remote procedure call ] 数据交换格式 。目前很多公司 http+json 转成 tcp+protobuf

  • 参考文档 : https://developers.google.com/protocol-buffers/docs/proto 语言指南

  • Protobuf 是以 message 的方式来管理数据的支持跨平台、跨语言,即[客户端和服务器端可以是不同的语言编写的] (支持目前绝大多数语言,例如 C++、C#、Java、python 等)

  • 高性能,高可靠性

  • 使用 protobuf 编译器能自动生成代码,Protobuf 是将类的定义使用.proto 文件进行描述。说明,在 idea 中编写 .proto 文件时,会自动提示是否下载 .ptotot 编写插件. 可以让语法高亮。

  • 然后通过 protoc.exe 编译器根据.proto 自动生成.java 文件

  • protobuf 使用示意图

具体使用

小六六这边就不一一举例说明了,毕竟我也是第一次接触嘛,先了解了解,后面用到了就去找案例就好了,稍微说一下

先写一个这样的执行文件

然后通过它的编译器生成你需要的实体

然后再 Netty 中使用

大概就是这么个流程,其实我们只要知道我们的目的是什么了就好了,我们就是加快序列化的速度嘛

Netty 编解码器和 handler 的调用机制

基本说明

  • netty 的组件设计:Netty 的主要组件有 Channel、EventLoop、ChannelFuture、ChannelHandler、ChannelPipe 等

  • ChannelHandler 充当了处理入站和出站数据的应用程序逻辑的容器。例如,实现 ChannelInboundHandler 接口(或 ChannelInboundHandlerAdapter),你就可以接收入站事件和数据,这些数据会被业务逻辑处理。当要给客户端发送响应时,也可以从 ChannelInboundHandler 冲刷数据。业务逻辑通常写在一个或者多个 ChannelInboundHandler 中。ChannelOutboundHandler 原理一样,只不过它是用来处理出站数据的

  • ChannelPipeline 提供了 ChannelHandler 链的容器。以客户端应用程序为例,如果事件的运动方向是从客户端到服务端的,那么我们称这些事件为出站的,即客户端发送给服务端的数据会通过 pipeline 中的一系列 ChannelOutboundHandler,并被这些 Handler 处理,反之则称为入站的

再讲编码解码器

  • 当 Netty 发送或者接受一个消息的时候,就将会发生一次数据转换。入站消息会被解码:从字节转换为另一种格式(比如 java 对象);如果是出站消息,它会被编码成字节。

  • Netty 提供一系列实用的编解码器,他们都实现了 ChannelInboundHadnler 或者 ChannelOutboundHandler 接口。在这些类中,channelRead 方法已经被重写了。以入站为例,对于每个从入站 Channel 读取的消息,这个方法会被调用。随后,它将调用由解码器所提供的 decode()方法进行解码,并将已经解码的字节转发给 ChannelPipeline 中的下一个 ChannelInboundHandler。

解码器-ByteToMessageDecoder

  • 关系继承图

我们可以看到还是继承了 ChannelInboundHandler

  • 由于不可能知道远程节点是否会一次性发送一个完整的信息,tcp 有可能出

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Netty HandlerNetty 框架中用于处理网络数据包的核心组件。它是一个 Java 接口,所有处理网络请求的逻辑通常都是通过这个接口来完成的。Handler 的设计允许开发者自定义各种处理流程,包括读取、解码、业务处理、编码、写入等步骤。 ### 手册的基本组成部分: #### ChannelHandlerContext `ChannelHandlerContext` 是 `Handler` 类型的引用,并且包含了当前通道上下文信息。这意味着它可以访问通道本身以及在其生命周期内的事件监听器。在编写处理器时,经常需要处理诸如 `read()`、`write()` 或 `channelInactive()` 等通道事件。 #### 生命周期管理 每个 `Handler` 实现都有其特定的生命周期阶段,在这些阶段内,它们可以响应不同的通道事件。例如,当接收新连接时,某个特定 `Handler` 可能会被初始化;在网络连接关闭时,另一个 `Handler` 可能会被通知并采取相应的清理措施。 #### 链式结构 Netty 使用链式的处理结构,即多个 `Handler` 可以串联在一起形成一条“处理链”。这使得数据流能够按照预设的顺序经过一系列的处理操作。这种设计便于模块化地构建复杂的网络应用逻辑,同时也简化了错误追踪和调试过程。 ### 应用场景及示例 在实际应用中,Netty Handlers 可用于多种场景,如 TCP 和 UDP 协议处理、HTTP 请求解析、WebSocket 协议支持等。例如,对于一个 HTTP 服务器应用,你可以创建一个 Handler 来解析 HTTP 请求行、头部字段,然后调用适当的业务逻辑,最后生成响应并编码成 HTTP 格式发送回客户端。 ```java public class HttpRequestHandler extends ChannelInboundHandlerAdapter { @Override public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { // 解析 HTTP 请求消息 HttpRequest request = (HttpRequest) msg; String method = request.getMethod(); if ("GET".equals(method)) { // 处理 GET 请求,这里只是一个简单的示例 ctx.writeAndFlush(new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK)); } } // 这里可以添加其他 Channel Lifecycle 方法的覆盖实现 } ``` ### 相关问题: 1. **如何创建并配置 Netty Handler**? 创建一个 Netty Handler 通常涉及到继承 `ChannelInboundHandlerAdapter` 或者更具体的 `ChannelHandler` 接口,并在其中实现 `channelRead` 等方法。配置方面,可以通过设置处理器链、调整处理器的位置和优先级来控制消息的处理顺序。 2. **为什么 Netty 使用链式处理模型**? Netty 使用链式处理模型的主要原因是它提供了高度的灵活性和可组合性。这种设计允许开发者以模块化的方式组织和扩展功能,同时易于管理和测试,减少了耦合度。 3. **常见的 Netty Handler 示例有哪些**? 常见的 Netty Handler 包括用于数据编码/解码的处理器(如 `BinaryDecoder` 和 `BinaryEncoder`)、用于日志记录的处理器 (`LoggingHandler`)、用于异常处理的处理器(如 `ExceptionLoggerHandler`),以及用于协议解析的处理器(如用于 WebSocket、HTTP 等)。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值