Netty学习笔记-CSDN博客

本文链接：https://blog.csdn.net/qq_38022739/article/details/124973200

1、BIO/NIO/AIO模型

BIO：同步并阻塞。服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销。BIO方式适用于连接数目比较小且固定的架构。
NIO：同步非阻塞。服务器实现模式为一个线程处理多个请求(连接)，即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求就进行处理。
NIO方式适用于连接数目多且连接比较短。
AIO：异步非阻塞。AIO引入异步通道的概念，采用了Proactor模式，简化了程序编写，有效的请求才启动线程，它的特点是先由操作系统完成后才通知服务端程序启动线程处理，一般适用于连接数较多且连接时间较长的应用。

2、Socket（使用netstat -ano查看）

socket 被翻译为“套接字”（套接字=主机+端口号），它是计算机之间进行通信的一种约定或一种方式。通过 socket这种约定，一台计算机可以接收其他计算机的数据，也可以向其他计算机发送数据。一个Socket就是五元组：1）协议；2）本地地址；3）外部地址；4）状态；5）PID。

3、Java NIO三个核心Channel/Buffer/Selector

Buffer（缓冲区）：缓冲区本质上是一个可以读写数据的内存块
Channel（通道）：NIO的通道类似于流，但有些区别如下：

通道可以同时进行读写，而流只能读或者只能写
通道可以实现异步读写数据
通道可以从缓冲读数据，也可以写数据到缓冲

Selector（选择器）：Selector能够检测多个注册的通道上是否有事件发生(注意:多个Channel以事件的方式可以注册到同一个Selector)，如果有事件发生，便获取事件然后针对每个事件进行相应的处理。这样就可以只用一个单线程去管理多个通道，也就是管理多个连接和请求。
在这里插入图片描述

4、零拷贝

零拷贝学习笔记

5、Netty对比Java NIO

NIO 的类库和API 繁杂，使用麻烦：需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。
需要具备其他的额外技能：要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor模式，你必须对多线程和网络编程非常熟悉，才能编写出高质量的 NIO 程序。
开发工作量和难度都非常大：例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。
JDK NIO 的 Bug：例如臭名昭著的 Epoll Bug，它会导致 Selector 空轮询，最终导致 CPU 100%。直到 JDK 1.7 版本该问题仍旧存在，没有被根本解决。
Netty对JDK自带的NIO的API进行了封装，解决了上述问题。
设计优雅：适用于各种传输类型的统一API阻塞和非阻塞Socket；基于灵活且可扩展
的事件模型，可以清晰地分离关注点；高度可定制的线程模型-单线程，一个或多个
线程池.
使用方便：详细记录的Javadoc，用户指南和示例；没有其他依赖项，JDK5（Netty3.x）或 6（Netty 4.x）就足够了。
高性能、吞吐量更高：延迟更低；减少资源消耗；最小化不必要的内存复制。
安全：完整的 SSL/TLS 和 StartTLS 支持

6、三种Reactor模型

根据Reactor的数量和处理资源池线程的数量不同，有3种典型的实现

单Reactor单线程；
单Reactor多线程；
主从Reactor多线程；

在这里插入图片描述

7、Netty模型

Netty抽象出两组线程池BossGroup专门负责接收客户端的连接,WorkerGroup专门负责网络的读写
BossGroup和WorkerGroup类型都是NioEventLoopGroup
NioEventLoopGroup相当于一个事件循环组,这个组中含有多个事件循环，每一个事件循环是NioEventLoop
NioEventLoop表示一个不断循环的执行处理任务的线程，每个NioEventLoop都有一个selector,用于监听绑定在其上的socket的网络通讯
NioEventLoopGroup可以有多个线程,即可以含有多个NioEventLoop
每个BossNioEventLoop循环执行的步骤有3步
1）轮询accept事件
2）处理accept事件,与client建立连接,生成NioScocketChannel,并将其注册到某个workerNIOEventLoop上的selector
3）处理任务队列的任务，即runAllTasks
每个WorkerNIOEventLoop循环执行的步骤
1）轮询read,write事件
2）处理i/o事件，即read,write事件，在对应NioScocketChannel处理
3）处理任务队列的任务，即runAllTasks
每个WorkerNIOEventLoop处理业务时，会使用pipeline(管道)，pipeline中包含了channel,即通过pipline可以获取到对应通道，管道中维护了很多的处理器

8、BootStrap/ServerBootstrap

Bootstrap意思是引导，一个Netty应用通常由一个Bootstrap开始，主要作用是配置整个Netty程序，串联各个组件，Netty中Bootstrap类是客户端程序的启动引导类，ServerBootstrap是服务端启动引导类。
常见的方法有：
public ServerBootstrap group(EventLoopGroup parentGroup, EventLoopGroup childGroup)，该方法用于服务器端，用来设置两个EventLoop

public B group(EventLoopGroup group) ，该方法用于客户端，用来设置一个EventLoop
public B channel(Class<? extends C> channelClass)，该方法用来设置一个服务器端的通道实现
public B option(ChannelOption option, T value)，用来给ServerChannel添加配置
public ServerBootstrap childOption(ChannelOption childOption, T value)，用来给接收到的通道添加配置
public ServerBootstrap childHandler(ChannelHandler childHandler)，该方法用来设置业务处理类（自定义的 handler）
public ChannelFuture bind(int inetPort) ，该方法用于服务器端，用来设置占用的端口号
public ChannelFuture connect(String inetHost, int inetPort) ，该方法用于客户端，用来连接服务器端。

9、Future/ChannelFuture

Netty中所有的IO操作都是异步的，不能立刻得知消息是否被正确处理。但是可以过一会等它执行完成或者直接注册一个监听，具体的实现就是通过Future和ChannelFutures，他们可以注册一个监听，当操作执行成功或失败时监听会自动触发注册的监听事件。
常见的方法有：

Channel channel()，返回当前正在进行IO操作的通道
ChannelFuture sync()，等待异步操作执行完毕

10、Channel

Netty网络通信的组件，能够用于执行网络I/O操作。
通过Channel可获得当前网络连接的通道的状态
通过Channel可获得网络连接的配置参数（例如接收缓冲区大小）
Channel提供异步的网络I/O操作(如建立连接，读写，绑定端口），异步调用意味着任何I/O调用都将立即返回，并且不保证在调用结束时所请求的I/O操作已完成
调用立即返回一个ChannelFuture实例，通过注册监听器到ChannelFuture上，可以I/O操作成功、失败或取消时回调通知调用方
支持关联I/O操作与对应的处理程序
不同协议、不同的阻塞类型的连接都有不同的Channel类型与之对应

11、Selector

Netty基于Selector对象实现I/O多路复用，通过Selector一个线程可以监听多个连接的Channel事件。
当向一个Selector中注册Channel后，Selector内部的机制就可以自动不断地查询(Select)这些注册的Channel是否有已就绪的I/O事件（例如可读，可写，网络连接完成等），这样程序就可以很简单地使用一个线程高效地管理多个Channel。

12、ChannelHandler

ChannelHandler 是一个接口，处理I/O事件或拦截I/O操作，并将其转发到其
ChannelPipeline(业务处理链)中的下一个处理程序。
ChannelHandler 本身并没有提供很多方法，因为这个接口有许多的方法需要实现，方
便使用期间，可以继承它的子类
ChannelHandler 及其实现类一览图

ChannelInboundHandler 用于处理入站 I/O 事件。
ChannelOutboundHandler 用于处理出站 I/O 操作。
//适配器
ChannelInboundHandlerAdapter用于处理入站 I/O 事件。
ChannelOutboundHandlerAdapter 用于处理出站 I/O 操作。
ChannelDuplexHandler 用于处理入站和出站事件。

4.我们经常需要自定义一个 Handler 类去继承ChannelInboundHandlerAdapter，然后通过重写相应方法实现业务逻辑

//通道就绪事件
void channelActive(ChannelHandlerContext ctx) throws Exception;

//通道读取数据事件
void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception;

//数据读取完毕事件
void channelReadComplete(ChannelHandlerContext ctx) throws Exception;

13、ChannelPipeline

ChannelPipeline是一个Handler的集合，它负责处理和拦截inbound或者outbound的事件和操作，相当于一个贯穿Netty的链。(也可以这样理解：ChannelPipeline是保存ChannelHandler的List，用于处理或拦截Channel的入站事件和出站操作)
ChannelPipeline实现了一种高级形式的拦截过滤器模式，使用户可以完全控制事件的处理方式，以及Channel中各个的ChannelHandler如何相互交互
在Netty中每个Channel都有且仅有一个ChannelPipeline与之对应，它们的组成关系如下

一个Channel包含了一个ChannelPipeline，而ChannelPipeline中又维护了一个由ChannelHandlerContext组成的双向链表，并且每个ChannelHandlerContext中又关联着一个ChannelHandler
入站事件和出站事件在一个双向链表中，入站事件会从链表head往后传递到最后一个入站的handler，出站事件会从链表tail往前传递到最前一个出站的handler，两种类型的handler互不干扰
常见的方法有：
ChannelPipelineaddFirst(ChannelHandler. . . handlers)，把一个业务处理类（handler）添加到链中的第一个位置
ChannelPipelineaddLast(ChannelHandler. . . handlers)，把一个业务处理类（handler）添加到链中的最后一个位置。

14、ChannelHandlerContext

保存Channel相关的所有上下文信息，同时关联一个ChannelHandler对象
即ChannelHandlerContext中包含一个具体的事件处理器ChannelHandler，同时ChannelHandlerContext中也绑定了对应的pipeline和Channel的信息，方便对ChannelHandler进行调用.
常用方法：

ChannelFutureclose()，关闭通道
ChannelOutboundInvokerflush()，刷新
ChannelFuturewriteAndFlush(Objectmsg)，将数据写到ChannelPipeline中当前
ChannelHandler的下一个ChannelHandler开始处理（出站）

15、ChannelOption

Netty在创建Channel实例后,一般都需要设置ChannelOption参数。
ChannelOption参数如下:

ChannelOption.SO_BACKLOG
对应TCP/IP协议listen函数中的backlog参数，用来初始化服务器可连接队列大小。服务端处理客户端连接请求是顺序处理的，所以同一时间只能处理一个客户端连接。多个客户端来的时候，服务端将不能处理的客户端连接请求放在队列中等待处理，backlog参数指定
了队列的大小。
ChannelOption.SO_KEEPALIVE
一直保持连接活动状态

16、EventLoopGroup

EventLoopGroup是一组EventLoop的抽象，Netty为了更好的利用多核CPU资源，一般会有多个EventLoop同时工作，每个EventLoop维护着一个Selector实例。
EventLoopGroup提供next接口，可以从组里面按照一定规则获取其中一个EventLoop来处理任务。在Netty服务器端编程中，我们一般都需要提供两个EventLoopGroup，例如：BossEventLoopGroup和WorkerEventLoopGroup。
通常一个服务端口即一个ServerSocketChannel对应一个Selector和一个EventLoop线程。BossEventLoop负责接收客户端的连接并将SocketChannel交给WorkerEventLoopGroup来进行IO处理，如下图所示

BossEventLoopGroup通常是一个单线程的EventLoop，EventLoop维护着一个注册了ServerSocketChannel的Selector实例BossEventLoop不断轮询Selector将连接事件分离出来
通常是OP_ACCEPT事件，然后将接收到的SocketChannel交给WorkerEventLoopGroup
WorkerEventLoopGroup会由next选择其中一个EventLoop来将这个SocketChannel注册到其维护的Selector并对其后续的IO事件进行处理

17、inbound/outbound

图88

图123

18、Unpooled类以及ByteBuf

Netty 提供一个专门用来操作缓冲区(即Netty的数据容器)的工具类Unpooled类
常用方法如下所示
//通过给定的数据和字符编码返回一个ByteBuf对象（类似于NIO中的 ByteBuffer但有区别）
public static ByteBuf copiedBuffer(CharSequence string, Charset charset)

19、心跳检测

使用IdleStateHandler

20、编码、解码

编写网络应用程序时，因为数据在网络中传输的都是二进制字节码数据，在发送数据时就需要编码，接收数据时就需要解码[示意图]
codec(编解码器)的组成部分有两个：decoder(解码器)和encoder(编码器)。encoder负责把业务数据转换成字节码数据，decoder负责把字节码数据转换成业务数据

Netty 自身提供了一些 codec(编解码器)
Netty 提供的编码器

StringEncoder，对字符串数据进行编码
ObjectEncoder，对 Java 对象进行编码
…

Netty 提供的解码器

StringDecoder, 对字符串数据进行解码
ObjectDecoder，对 Java 对象进行解码
…

Netty 本身自带的 ObjectDecoder 和 ObjectEncoder 可以用来实现 POJO 对象或各种业务对象的编码和解码，底层使用的仍是 Java 序列化技术 , 而Java 序列化技术本身效率就不高，存在如下问题

无法跨语言
序列化后的体积太大，是二进制编码的 5 倍多。
序列化性能太低

21、Protobuf

Protobuf是Google发布的开源项目，全称Google Protocol Buffers，是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或RPC[远程过程调用remote procedure call]数据交换格式。

Protobuf是以message的方式来管理数据的.
支持跨平台、跨语言，即[客户端和服务器端可以是不同的语言编写的]（支持目前绝大多数语言，例如C++、C#、Java、python等）
高性能，高可靠性
使用protobuf编译器能自动生成代码，Protobuf是将类的定义使用. proto文件进行描述。
protobuf使用示意图

22、TCP粘包拆包

TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样做虽然提高了效率，但是接收端就难于分辨出完整的数据包了，因为面向流的通信是无消息保护边界的
由于TCP无消息保护边界,需要在接收端处理消息边界问题，也就是我们所说的粘包、拆包问题
TCP粘包、拆包图解