Netty之旅：你想要的NIO知识点，这里都有

2401_85124218

于 2024-06-10 18:47:02 发布

阅读量765

点赞数 29

文章标签： nio java 服务器

本文链接：https://blog.csdn.net/2401_85124218/article/details/139580457

版权

信号驱动IO：进程发起读取操作会立即返回，当数据准备好了会以通知的形式告诉进程，进程再发起读取操作，把数据从内核空间拷贝到用户空间。第一阶段不阻塞，第二阶段阻塞。
异步IO：进程发起读取操作会立即返回，等到数据准备好且已经拷贝到用户空间了再通知进程拿数据。两个阶段都不阻塞。

这五种IO模式不难发现存在这两对关系：同步和异步、阻塞和非阻塞。那么稍微解释一下：

同步和异步

=========

同步： 同步就是发起一个调用后，被调用者未处理完请求之前，调用不返回。
异步： 异步就是发起一个调用后，立刻得到被调用者的回应表示已接收到请求，但是被调用者并没有返回结果，此时我们可以处理其他的请求，被调用者通常依靠事件，回调等机制来通知调用者其返回结果。

同步和异步的区别最大在于异步的话调用者不需要等待处理结果，被调用者会通过回调等机制来通知调用者其返回结果。

阻塞和非阻塞

==========

阻塞： 阻塞就是发起一个请求，调用者一直等待请求结果返回，也就是当前线程会被挂起，无法从事其他任务，只有当条件就绪才能继续。
非阻塞： 非阻塞就是发起一个请求，调用者不用一直等着结果返回，可以先去干其他事情。

阻塞和非阻塞是针对进程在访问数据的时候，根据IO操作的就绪状态来采取的不同方式，说白了是一种读取或者写入操作方法的实现方式，阻塞方式下读取或者写入函数将一直等待，而非阻塞方式下，读取或者写入方法会立即返回一个状态值。

如果组合后的同步阻塞(blocking-IO)简称BIO、同步非阻塞(non-blocking-IO)简称NIO和异步非阻塞(asynchronous-non-blocking-IO)简称AIO又代表什么意思呢？

BIO (同步阻塞I/O模式): 数据的读取写入必须阻塞在一个线程内等待其完成。这里使用那个经典的烧开水例子，这里假设一个烧开水的场景，有一排水壶在烧开水，BIO的工作模式就是，叫一个线程停留在一个水壶那，直到这个水壶烧开，才去处理下一个水壶。但是实际上线程在等待水壶烧开的时间段什么都没有做。
NIO(同步非阻塞): 同时支持阻塞与非阻塞模式，但这里我们以其同步非阻塞I/O模式来说明，那么什么叫做同步非阻塞？如果还拿烧开水来说，NIO的做法是叫一个线程不断的轮询每个水壶的状态，看看是否有水壶的状态发生了改变，从而进行下一步的操作。
AIO(异步非阻塞I/O模型): 异步非阻塞与同步非阻塞的区别在哪里？异步非阻塞无需一个线程去轮询所有IO操作的状态改变，在相应的状态改变后，系统会通知对应的线程来处理。对应到烧开水中就是，为每个水壶上面装了一个开关，水烧开之后，水壶会自动通知我水烧开了。

java 中的 BIO、NIO和AIO理解为是 Java 语言在操作系统层面对这三种 IO 模型的封装。程序员在使用这些封装API 的时候，不需要关心操作系统层面的知识，也不需要根据不同操作系统编写不同的代码，只需要使用Java的API就可以了。由此，为了使读者对这三种模型有个比较具体和递推式的了解，并且和本文主题NIO有个清晰的对比，下面继续延伸。

Java BIO

============

BIO编程方式通常是是Java的上古产品，自JDK 1.0-JDK1.4就有的东西。编程实现过程为：首先在服务端启动一个ServerSocket来监听网络请求，客户端启动Socket发起网络请求，默认情况下SeverSocket会建立一个线程来处理此请求，如果服务端没有线程可用，客户端则会阻塞等待或遭到拒绝。服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理。大致结构如下：

Netty之旅：你想要的NIO知识点，这里都有

如果要让 BIO 通信模型能够同时处理多个客户端请求，就必须使用多线程（主要原因是 socket.accept()、socket.read()、 socket.write() 涉及的三个主要函数都是同步阻塞的），也就是说它在接收到客户端连接请求之后为每个客户端创建一个新的线程进行链路处理，处理完成之后，通过输出流返回应答给客户端，线程销毁。这就是典型的一请求一应答通信模型。我们可以设想一下如果这个连接不做任何事情的话就会造成不必要的线程开销，不过可以通过线程池机制改善，线程池还可以让线程的创建和回收成本相对较低。使用线程池机制改善后的 BIO 模型图如下:

Netty之旅：你想要的NIO知识点，这里都有

BIO方式适用于连接数目比较小且固定的架构，这种方式对服务器资源要求比较高，并发局限于应用中，是JDK1.4以前的唯一选择，但程序直观简单易懂。Java BIO编程示例网上很多，这里就不进行coding举例了，毕竟后面NIO才是重点。

Java NIO

============

NIO（New IO或者No-Blocking IO），从JDK1.4 开始引入的非阻塞IO，是一种非阻塞+ 同步的通信模式。这里的No Blocking IO用于区分上面的BIO。

NIO本身想解决 BIO的并发问题，通过Reactor模式的事件驱动机制来达到Non Blocking的。当 socket 有流可读或可写入 socket时，操作系统会相应的通知应用程序进行处理，应用再将流读取到缓冲区或写入操作系统。

也就是说，这个时候，已经不是一个连接就要对应一个处理线程了，而是有效的请求，对应一个线程，当连接没有数据时，是没有工作线程来处理的。

当一个连接创建后，不需要对应一个线程，这个连接会被注册到多路复用器上面，所以所有的连接只需要一个线程就可以搞定，当这个线程中的多路复用器进行轮询的时候，发现连接上有请求的话，才开启一个线程进行处理，也就是一个请求一个线程模式。

NIO提供了与传统BIO模型中的Socket和ServerSocket相对应的SocketChannel和ServerSocketChannel两种不同的套接字通道实现，如下图结构所示。这里涉及的Reactor设计模式、多路复用Selector、Buffer等暂时不用管，后面会讲到。

Netty之旅：你想要的NIO知识点，这里都有

NIO 方式适用于连接数目多且连接比较短(轻操作)的架构，比如聊天服务器，并发局限于应用中，编程复杂，JDK1.4 开始支持。同时，NIO和普通IO的区别主要可以从存储数据的载体、是否阻塞等来区分：

Netty之旅：你想要的NIO知识点，这里都有

Java AIO

============

与 NIO 不同，当进行读写操作时，只须直接调用 API 的 read 或 write 方法即可。这两种方法均为异步的，对于读操作而言，当有流可读取时，操作系统会将可读的流传入 read 方法的缓冲区，并通知应用程序；对于写操作而言，当操作系统将 write 方法传递的流写入完毕时，操作系统主动通知应用程序。即可以理解为，read/write 方法都是异步的，完成后会主动调用回调函数。在 JDK7 中，提供了异步文件通道和异步套接字通道的实现，这部分内容被称作 NIO.

AIO 方式使用于连接数目多且连接比较长(重操作)的架构，比如相册服务器，充分调用 OS 参与并发操作，编程比较复杂，JDK7 开始支持。

目前来说 AIO 的应用还不是很广泛，Netty 之前也尝试使用过 AIO，不过又放弃了。

二、NIO核心组件介绍

===============

1. Channel

===============

在NIO中，基本所有的IO操作都是从Channel开始的，Channel通过Buffer(缓冲区)进行读写操作。

read()表示读取通道中数据到缓冲区，write()表示把缓冲区数据写入到通道。

Netty之旅：你想要的NIO知识点，这里都有

Channel有好多实现类，这里有三个最常用：

SocketChannel：一个客户端发起TCP连接的Channel
ServerSocketChannel：一个服务端监听新连接的TCP Channel，对于每一个新的Client连接，都会建立一个对应的SocketChannel
FileChannel：从文件中读写数据

其中SocketChannel和ServerSocketChannel是网络编程中最常用的，一会在最后的示例代码中会有讲解到具体用法。

2. Buffer

==============

概念

======

Buffer也被成为内存缓冲区，本质上就是内存中的一块，我们可以将数据写入这块内存，之后从这块内存中读取数据。也可以将这块内存封装成NIO Buffer对象，并提供一组常用的方法，方便我们对该块内存进行读写操作。

Buffer在java.nio中被定义为抽象类：

Netty之旅：你想要的NIO知识点，这里都有

我们可以将Buffer理解为一个数组的封装，我们最常用的ByteBuffer对应的数据结构就是byte[]

属性

======

Buffer中有4个非常重要的属性：capacity、limit、position、mark

Netty之旅：你想要的NIO知识点，这里都有

capacity属性：容量，Buffer能够容纳的数据元素的最大值，在Buffer初始化创建的时候被赋值，而且不能被修改。

Netty之旅：你想要的NIO知识点，这里都有

上图中，初始化Buffer的容量为8（图中从0~7，共8个元素），所以capacity = 8

limit属性：代表Buffer可读可写的上限。写模式下：limit 代表能写入数据的上限位置，这个时候limit = capacity

读模式下：在Buffer完成所有数据写入后，通过调用flip()方法，切换到读模式，此时limit等于Buffer中实际已经写入的数据大小。因为Buffer可能没有被写满，所以limit<=capacity

position属性：代表读取或者写入Buffer的位置。默认为0。写模式下：每往Buffer中写入一个值，position就会自动加1，代表下一次写入的位置。读模式下：每往Buffer中读取一个值，position就自动加1，代表下一次读取的位置。

Netty之旅：你想要的NIO知识点，这里都有

从上图就能很清晰看出，读写模式下capacity、limit、position的关系了。

mark属性：代表标记，通过mark()方法，记录当前position值，将position值赋值给mark，在后续的写入或读取过程中，可以通过reset()方法恢复当前position为mark记录的值。

这几个重要属性讲完，我们可以再来回顾下：

0 <= mark <= position <= limit <= capacity

现在应该很清晰这几个属性的关系了~

Buffer常见操作

==============

创建Buffer

============

allocate(int capacity)

ByteBuffer buffer = ByteBuffer.allocate(1024);

int count = channel.read(buffer);

例子中创建的ByteBuffer是基于堆内存的一个对象。

wrap(array)

wrap方法可以将数组包装成一个Buffer对象:

ByteBuffer buffer = ByteBuffer.wrap(“hello world”.getBytes());

channel.write(buffer);

allocateDirect(int capacity)

通过allocateDirect方法也可以快速实例化一个Buffer对象，和allocate很相似，这里区别的是allocateDirect创建的是基于堆外内存的对象。

堆外内存不在JVM堆上，不受GC的管理。堆外内存进行一些底层系统的IO操作时，效率会更高。

Buffer写操作

=============

Buffer写入可以通过put()和channel.read(buffer)两种方式写入。

通常我们NIO的读操作的时候，都是从Channel中读取数据写入Buffer，这个对应的是Buffer的写操作。

Buffer读操作

=============

Buffer读取可以通过get()和channel.write(buffer)两种方式读入。

还是同上，我们对Buffer的读入操作，反过来说就是对Channel的写操作。读取Buffer中的数据然后写入Channel中。

Netty之旅：你想要的NIO知识点，这里都有

其他常见方法

==========

rewind()：重置position位置为0，可以重新读取和写入buffer，一般该方法适用于读操作，可以理解为对buffer的重复读。

public final Buffer rewind() {

position = 0;

mark = -1;

return this;

}

flip()：很常用的一个方法，一般在写模式切换到读模式的时候会经常用到。也会将position设置为0，然后设置limit等于原来写入的position。

public final Buffer flip() {

limit = position;

position = 0;

mark = -1;

return this;

}

clear()：重置buffer中的数据，该方法主要是针对于写模式，因为limit设置为了capacity，读模式下会出问题。

public final Buffer clear() {

position = 0;

limit = capacity;

mark = -1;

return this;

}

mark()&reset(): mark()方法是保存当前position到变量markz中，然后通过reset()方法恢复当前position为mark，实现代码很简单，如下：

public final Buffer mark() {

mark = position;

return this;

}

public final Buffer reset() {

int m = mark;

if (m < 0)

throw new InvalidMarkException();

position = m;

return this;

}

常用的读写方法可以用一张图总结一下：

Netty之旅：你想要的NIO知识点，这里都有

3. Selector

================

概念

======

Selector是NIO中最为重要的组件之一，我们常常说的多路复用器就是指的Selector组件。

Selector组件用于轮询一个或多个NIO Channel的状态是否处于可读、可写。通过轮询的机制就可以管理多个Channel，也就是说可以管理多个网络连接。

Netty之旅：你想要的NIO知识点，这里都有

轮询机制

========

首先，需要将Channel注册到Selector上，这样Selector才知道需要管理哪些Channel
接着Selector会不断轮询其上注册的Channel，如果某个Channel发生了读或写的时间，这个Channel就会被Selector轮询出来，然后通过SelectionKey可以获取就绪的Channel集合，进行后续的IO操作。

Netty之旅：你想要的NIO知识点，这里都有

属性操作

========

创建Selector

通过open()方法，我们可以创建一个Selector对象。

Selector selector = Selector.open();

注册Channel到Selector中

我们需要将Channel注册到Selector中，才能够被Selector管理。

channel.configureBlocking(false);

SelectionKey key = channel.register(selector, SelectionKey.OP_READ);

某个Channel要注册到Selector中，那么该Channel必须是非阻塞，所有上面代码中有个configureBlocking()的配置操作。

在register(Selector selector, int interestSet)方法的第二个参数，标识一个interest集合，意思是Selector对哪些事件感兴趣，可以监听四种不同类型的事件：

public static final int OP_READ = 1 << 0;

public static final int OP_WRITE = 1 << ;

public static final int OP_CONNECT = 1 << 3;

public static final int OP_ACCEPT = 1 << 4;

Connect事件：连接完成事件( TCP 连接 )，仅适用于客户端，对应 SelectionKey.OP_CONNECT。
Accept事件：接受新连接事件，仅适用于服务端，对应 SelectionKey.OP_ACCEPT 。
Read事件：读事件，适用于两端，对应 SelectionKey.OP_READ ，表示 Buffer 可读。
Write事件：写时间，适用于两端，对应 SelectionKey.OP_WRITE ，表示 Buffer 可写。

Channel触发了一个事件，表明该时间已经准备就绪：

一个Client Channel成功连接到另一个服务器，成为“连接就绪”
一个Server Socket准备好接收新进入的接，称为“接收就绪”
一个有数据可读的Channel，称为“读就绪”
一个等待写数据的Channel，称为”写就绪“

当然，Selector是可以同时对多个事件感兴趣的，我们使用或运算即可组合多个事件：

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

Selector其他一些操作

==================

选择Channel

=============

public abstract int select() throws IOException;

public abstract int select(long timeout) throws IOException;

public abstract int selectNow() throws IOException;

当Selector执行select()方法就会产生阻塞，等到注册在其上的Channel准备就绪就会立即返回，返回准备就绪的数量。

select(long timeout)则是在select()的基础上增加了超时机制。

selectNow()立即返回，不产生阻塞。

有一点非常需要注意： select 方法返回的 int 值，表示有多少 Channel 已经就绪。

自上次调用select 方法后有多少 Channel 变成就绪状态。如果调用 select 方法，因为有一个 Channel 变成就绪状态则返回了 1 ；

若再次调用 select 方法，如果另一个 Channel 就绪了，它会再次返回1。

获取可操作的Channel

=================

Set selectedKeys = selector.selectedKeys();

当有新增就绪的Channel，调用select()方法，就会将key添加到Set集合中。

三、代码示例

==========

前面铺垫了这么多，主要是想让大家能够看懂NIO代码示例，也方便后续大家来自己手写NIO 网络编程的程序。创建NIO服务端的主要步骤如下：

1. 打开ServerSocketChannel，监听客户端连接 2. 绑定监听端口，设置连接为非阻塞模式 3. 创建Reactor线程，创建多路复用器并启动线程 4. 将ServerSocketChannel注册到Reactor线程中的Selector上，监听ACCEPT事件 5. Selector轮询准备就绪的key 6. Selector监听到新的客户端接入，处理新的接入请求，完成TCP三次握手，建立物理链路 7. 设置客户端链路为非阻塞模式 8. 将新接入的客户端连接注册到Reactor线程的Selector上，监听读操作，读取客户端发送的网络消息 9. 异步读取客户端消息到缓冲区 10.对Buffer编解码，处理半包消息，将解码成功的消息封装成Task 11.将应答消息编码为Buffer，调用SocketChannel的write将消息异步发送给客户端

NIOServer.java ：

public class NIOServer {

private static Selector selector;

public static void main(String[] args) {

init();

listen();

}

private static void init() {

ServerSocketChannel serverSocketChannel = null;

try {

selector = Selector.open();

serverSocketChannel = ServerSocketChannel.open();

serverSocketChannel.configureBlocking(false);

serverSocketChannel.socket().bind(new InetSocketAddress(9000));

serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);

System.out.println(“NioServer 启动完成”);

} catch (IOException e) {

e.printStackTrace();

}

最后

如果你已经下定决心要转行做编程行业，在最开始的时候就要对自己的学习有一个基本的规划，还要对这个行业的技术需求有一个基本的了解。有一个已就业为目的的学习目标，然后为之努力，坚持到底。如果你有幸看到这篇文章，希望对你有所帮助，祝你转行成功。

2401_85124218

关注

29
点赞
踩
24

收藏

觉得还不错? 一键收藏
0
评论
Netty之旅：你想要的NIO知识点，这里都有

如果你已经下定决心要转行做编程行业，在最开始的时候就要对自己的学习有一个基本的规划，还要对这个行业的技术需求有一个基本的了解。有一个已就业为目的的学习目标，然后为之努力，坚持到底。如果你有幸看到这篇文章，希望对你有所帮助，祝你转行成功。
复制链接

扫一扫