Netty介绍

1 IO模型

1.1 IO基础

为了OS的安全性等的考虑，进程是无法直接操作I/O设备的，其必须通过系统调用请求内核来协助完成I/O动作，而内核会为每个I/O设备维护一个buffer。

用户进程发起请求，内核接受到请求后，从I/O设备中获取数据到buffer中，再将buffer中的数据copy到用户进程的地址空间，该用户进程获取到数据后再响应客户端。
在整个请求过程中，数据输入至buffer需要时间，而从buffer复制数据至进程也需要时间。因此根据在这两段时间内等待方式的不同，I/O动作可以分为以下五种模式：

• 阻塞I/O (Blocking I/O)
• 非阻塞I/O (Non-Blocking I/O)
• I/O复用（I/O Multiplexing)
• 信号驱动的I/O (Signal Driven I/O)，实际并不常用
• 异步I/O (Asynchrnous I/O)

从同步、异步，以及阻塞、非阻塞两个维度来划分来看：

1.2 java IO模型

Java共支持3种网络编程IO模式：BIO，NIO，AIO

1.2.1 BIO（Blocking IO）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wRacFE0S-1658653013666)(https://note.youdao.com/yws/res/0/WEBRESOURCEb0affbd6576a24e3ff510af95d725b50)]

缺点：
1、IO代码里read操作是阻塞操作，如果连接不做数据读写操作会导致线程阻塞，浪费资源
2、如果线程很多，会导致服务器线程太多，压力太大

应用场景：

BIO 方式适用于连接数目比较小且固定的架构， 这种方式对服务器资源要求比较高， 但程序简单易理解。

1.2.2 NIO(Non Blocking IO)

同步非阻塞，服务器实现模式为一个线程可以处理多个请求(连接)，客户端发送的连接请求都会注册到多路复用器selector上，多路复用器轮询到连接有IO请求就进行处理，JDK1.4开始引入。

应用场景：

NIO方式适用于连接数目多且连接比较短（轻操作） 的架构， 比如聊天服务器， 弹幕系统， 服务器间通讯，编程比较复杂。

如果连接数太多的话，会有大量的无效遍历，假如有10000个连接，其中只有1000个连接有写数据，但是由于其他9000个连接并没有断开，我们还是要每次轮询遍历一万次，其中有十分之九的遍历都是无效的，这显然不是一个让人很满意的状态。所以，NIO中引入了多路复用器。

传统IO基于字节流和字符流进行操作，而NIO基于Channel和Buffer(缓冲区)进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件（比如：连接打开，数据到达）。因此，单个线程可以监听多个数据通道。

IO的各种流是阻塞的。这意味着，当一个线程调用read() 或 write()时，该线程被阻塞，直到有一些数据被读取，或数据完全写入。NIO的非阻塞模式，使一个线程从某通道发送请求读取数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取。

NIO 有三大核心组件： Channel(通道)， Buffer(缓冲区)，Selector(多路复用器)

• Channel
  Channel和IO中的Stream(流)是差不多一个等级的。只不过Stream是单向的，譬如：InputStream, OutputStream。而Channel是双向的，既可以用来进行读操作，又可以用来进行写操作。
  NIO中的Channel的主要实现有：

FileChannel，文件IO
DatagramChannel，UDPIO
SocketChannel，TCP IO，client
ServerSocketChannel，TCP IO，server

• Buffer

NIO中的关键Buffer实现有：ByteBuffer, CharBuffer, DoubleBuffer, FloatBuffer, IntBuffer, LongBuffer, ShortBuffer，分别对应基本数据类型: byte, char, double, float, int, long, short。

索引	说明
capacity	缓冲区数组的总长度
position	下一个要操作的数据元素的位置
limitmark	缓冲区数组中不可操作的下一个元素的位置：limit<=capacity
mark	用于记录当前position的前一个位置或者默认是-1

其中Capacity在读写模式下都是固定的，就是我们分配的缓冲大小；Position类似于读写指针，表示当前读(写)到什么位置；Limit在写模式下表示最多能写入多少数据，此时和Capacity相同，在读模式下表示最多能读多少数据，此时和缓存中的实际数据大小相同。

NIO整个调用流程就是Java调用了操作系统的内核函数来创建Socket，获取到Socket的文件描述符，再创建一个Selector对象，对应操作系统的Epoll描述符，将获取到的Socket连接的文件描述符的事件绑定到Selector对应的Epoll文件描述符上，进行事件的异步通知，这样就实现了使用一条线程，并且不需要太多的无效的遍历，将事件处理交给了操作系统内核(操作系统中断程序实现)，大大提高了效率。

1.2.3 AIO

异步非阻塞， 由操作系统完成后回调通知服务端程序启动线程去处理， 一般适用于连接数较多且连接时间较长的应用

应用场景：

AIO方式适用于连接数目多且连接比较长(重操作)的架构，JDK7 开始支持

1.2.4 BIO、 NIO、 AIO 对比

-	BIO	NIO	AIO
IO模型	同步阻塞	同步阻塞(多路复用)	异步阻塞
编程难度	简单	复杂	复杂
可靠性	差	好	好
吞吐量	低	高	高

2 Netty

2.1 NIO 的问题

• NIO 的类库和 API 繁杂， 使用麻烦： 需要熟练掌握Selector、 ServerSocketChannel、 SocketChannel、 ByteBuffer等
• 开发工作量和难度都非常大： 例如客户端面临断线重连、 网络闪断、心跳处理、半包读写、 网络拥塞和异常流的处理等等

针对问题，JDK中引入了 Netty。Netty 对 JDK 自带的 NIO 的 API 进行了良好的封装，解决了上述问题。且Netty拥有高性能、 吞吐量更高，延迟更低，减少资源消耗，最小化不必要的内存复制等优点。

Netty 现在都在用的是4.x，5.x版本已经废弃，Netty 4.x 需要JDK 6以上版本支持

2.2 Netty的使用场景

• 互联网行业：在分布式系统中，各个节点之间需要远程服务调用，高性能的 RPC 框架必不可少，Netty 作为异步高性能的通信框架，往往作为基础通信组件被这些 RPC 框架使用。典型的应用有：阿里分布式服务框架 Dubbo 的 RPC 框架使用 Dubbo 协议进行节点间通信，Dubbo 协议默认使用 Netty 作为基础通信组件，用于实现。各进程节点之间的内部通信。Rocketmq底层也是用的Netty作为基础通信组件。
• 游戏行业：无论是手游服务端还是大型的网络游戏，Java 语言得到了越来越广泛的应用。Netty 作为高性能的基础通信组件，它本身提供了 TCP/UDP 和 HTTP 协议栈。
• 大数据领域：经典的 Hadoop 的高性能通信和序列化组件 Avro 的 RPC 框架，默认采用 Netty 进行跨界点通信，它的 Netty Service 基于 Netty 框架二次封装实现。

使用Netty的项目: Netty相关项目

2.3 Netty线程模型

Netty处理流程如下所示：

1. Netty 抽象出两组线程池BossGroup和WorkerGroup，BossGroup专门负责接收客户端的连接, WorkerGroup专门负责网络的读写
2. BossGroup和WorkerGroup类型都是NioEventLoopGroup
3. NioEventLoopGroup 相当于一个事件循环线程组, 这个组中含有多个事件循环线程 ， 每一个事件循环线程是NioEventLoop
4. 每个NioEventLoop都有一个selector , 用于监听注册在其上的socketChannel的网络通讯
5. 每个Boss NioEventLoop线程内部循环执行的步骤有 3 步
   处理accept事件 , 与client 建立连接 , 生成 NioSocketChannel
   将NioSocketChannel注册到某个worker NIOEventLoop上的selector
   处理任务队列的任务 ， 即runAllTasks
6. 每个worker NIOEventLoop线程循环执行的步骤
   轮询注册到自己selector上的所有NioSocketChannel 的read, write事件
   处理 I/O 事件， 即read , write 事件， 在对应NioSocketChannel 处理业务
   runAllTasks处理任务队列TaskQueue的任务 ，一些耗时的业务处理一般可以放入TaskQueue中慢慢处理，这样不影响数据在 pipeline 中的流动处理
7. 每个worker NIOEventLoop处理NioSocketChannel业务时，会使用 pipeline (管道)，管道中维护了很多 handler 处理器用来处理 channel 中的数据

2.4 Netty组件

• Bootstrap、ServerBootstrap
• Future、ChannelFuture
• Channel
• Selector
• NioEventLoop
• NioEventLoopGroup
• ChannelHandler
• ChannelHandlerContext
• ChannelPipline