NIO原理解析

最新推荐文章于 2024-07-25 22:50:26 发布

hy_coming

最新推荐文章于 2024-07-25 22:50:26 发布

阅读量810

点赞数

分类专栏： JAVA 文章标签： NIO IO Netty 流

本文链接：https://blog.csdn.net/hy_coming/article/details/87947613

版权

JAVA 专栏收录该内容

63 篇文章 0 订阅

订阅专栏

一、定义

再说NIO之前我们需要知道为什么会出现?出现有必要吗？回答是肯定的，在JDK1.4版本之前所有流的操作都是基于原始的IO操作，那么原始的IO又是指的那些，接下来看下图：

上面的两张图我们已经了解了原始的IO体系的构成，那么运用呢？因为我们知道传统的流读写的方式都是阻塞性的，所以原始的IO也叫做阻塞IO，按照当初的业务需求来说确实影响不是很大，毕竟流的数据量很小，但是随着科技的发展，数据量的增大，效率急剧下滑，那怎么办呢？终于在JDK1.4的时候提供了新的API，那就是NIO，是一个非阻塞IO，看看百度百科的定义：

java.nio全称java non-blocking IO，是指jdk1.4 及以上版本里提供的新api（New IO），为所有的原始类型（boolean类型除外）提供缓存支持的数据容器，使用它可以提供非阻塞式的高伸缩性网络。（摘自百度百科）

BIO与NIO的区别
IO模型	IO	NIO
方式	从硬盘到内存	从内存到硬盘
通信	面向流（乡村公路）	面向缓存（高速公路，多路复用技术）
处理	阻塞IO（多线程）	非阻塞IO（反应堆Reactor）
触发	无	选择器（轮询机制）

二、实现原理

其实从上面的定义当中我们就能够知道NIO最大的不同就是提供了支持缓存的容器，其实从某种程度上来说这种设计就是用空间来换取时间的案例，对于当前这种追求时间效率的来说无异于是一次福音。其实NIO主要是缓冲区（Buffer）、通道（Channel）、选择器（Selector）三类核心对象组成。

1.缓冲区（Buffer）

缓冲区实际上是一个容器对象，更直接的说，其实就是一个数组，在NIO库中，所有数据都是用缓冲区处理的。在读取数据时，它是直接读到缓冲区中的；在写入数据时，它也是写入到缓冲区中的；任何时候访问 NIO 中的数据，都是将它放到缓冲区中。而在面向流I/O系统中，所有数据都是直接写入或者直接将数据读取到Stream对象中。

在NIO中，所有的缓冲区类型都继承于抽象类Buffer，最常用的就是ByteBuffer，对于Java中的基本类型，基本都有一个具体Buffer类型与之相对应，它们之间的继承关系如下图所示：
image3.png | center | 650x368
1）其中的四个属性的含义分别如下：
容量（Capacity）：缓冲区能够容纳的数据元素的最大数量。这一个容量在缓冲区创建时被设定，并且永远不能改变。
上界(Limit)：缓冲区的第一个不能被读或写的元素。或者说,缓冲区中现存元素的计数。
位置(Position)：下一个要被读或写的元素的索引。位置会自动由相应的 get( )和 put( )函数更新。
标记(Mark)：下一个要被读或写的元素的索引。位置会自动由相应的 get( )和 put( )函数更新。

2）Buffer的常见方法如下所示:
flip(): 写模式转换成读模式
rewind()：将 position 重置为 0 ，一般用于重复读。
clear() ：
compact(): 将未读取的数据拷贝到 buffer 的头部位。
mark(): reset():mark 可以标记一个位置， reset 可以重置到该位置。
Buffer 常见类型： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。

3）基本操作
Buffer基础操作：链接
缓冲区分片，缓冲区分配，直接缓存区，缓存区映射，缓存区只读：链接

4）缓冲区存取数据流程
存数据时position会++，当停止数据读取的时候
调用flip()，此时limit=position，position=0
读取数据时position++，一直读取到limit
clear() 清空 buffer ，准备再次被写入 (position 变成 0 ， limit 变成 capacity) 。

2.通道（Channel）

通道是一个对象，通过它可以读取和写入数据，当然了所有数据都通过Buffer对象来处理。我们永远不会将字节直接写入通道中，相反是将数据写入包含一个或者多个字节的缓冲区。同样不会直接从通道中读取字节，而是将数据从通道读入缓冲区，再从缓冲区获取这个字节。
image4.png | center | 368x191
在NIO中，提供了多种通道对象，而所有的通道对象都实现了Channel接口。它们之间的继承关系如下图所示：
image5.png | center | 650x517

1）使用NIO读取数据
在前面我们说过，任何时候读取数据，都不是直接从通道读取，而是从通道读取到缓冲区。所以使用NIO读取数据可以分为下面三个步骤：

从FileInputStream获取Channel
创建Buffer
将数据从Channel读取到Buffer中
例子：链接

2）使用NIO写入数据
使用NIO写入数据与读取数据的过程类似，同样数据不是直接写入通道，而是写入缓冲区，可以分为下面三个步骤：

从FileInputStream获取Channel
创建Buffer
将数据从Channel写入到Buffer中
例子：链接

3.反应堆

1）阻塞IO模型
在老的IO包中，serverSocket和socket都是阻塞式的，因此一旦有大规模的并发行为，而每一个访问都会开启一个新线程。这时会有大规模的线程上下文切换操作（因为都在等待，所以资源全都被已有的线程吃掉了），这时无论是等待的线程还是正在处理的线程，响应率都会下降，并且会影响新的线程。
image6.png | center | 739x336

2）NIO
Java NIO是在jdk1.4开始使用的，它既可以说成“新IO”，也可以说成非阻塞式I/O。下面是java NIO的工作原理：
1.由一个专门的线程来处理所有的IO事件，并负责分发。
2.事件驱动机制：事件到的时候触发，而不是同步的去监视事件。
3.线程通讯：线程之间通过wait,notify等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。

image7.png | center | 689x251

注：每个线程的处理流程大概都是读取数据，解码，计算处理，编码，发送响应。

4.选择器（Selector）

传统的 server / client 模式会基于 TPR ( Thread per Request ) ．服务器会为每个客户端请求建立一个线程．由该线程单独负贵处理一个客户请求。这种模式带未的一个问题就是线程数是的剧增．大量的线程会增大服务器的开销，大多数的实现为了避免这个问题，都采用了线程池模型，并设置线程池线程的最大数量，这又带来了新的问题，如果线程池中有 200 个线程，而有 200 个用户都在进行大文件下载，会导致第 201 个用户的请求无法及时处理，即便第 201 个用户只想请求一个几 KB 大小的页面。传统的 Sorvor / Client 模式如下围所示：
image8.png | center | 597x286
NIO 中非阻塞IO采用了基于Reactor模式的工作方式，IO调用不会被阻塞，相反是注册感兴趣的特点IO事件，如可读数据到达，新的套接字等等，在发生持定率件时，系统再通知我们。 NlO中实现非阻塞IO的核心设计Selector，Selector就是注册各种IO事件的地方，而且当那些事件发生时，就是这个对象告诉我们所发生的事件。
image9.png | center | 462x408
当有读或者写等任何注册的事件发生时，可以从Selector中获得相应的SelectionKey，同时从SelectionKey中可以找到发生的事件和该事件所发生的具体的SelectableChannel，以获得客户端发送过来的数据。
使用NIO中非阻塞IO编写服务器处理程序，有三个步骤
1.向Selector对象注册感兴趣的事件
2.从Selector中获取感兴趣的事件
3.根据不同事件进行相应的处理

四、实战

略

五、高级框架

前面已经说了这么多的NIO的好处，可是最烦的还是需要自己去实现一些繁琐的需求，按照JAVA封装的思想能不能开发一个基于NIO的框架，更加便捷的运用NIO，并且在此基础上做一些更加优秀的功能，其实这个大牛们已经帮我们想好了。现在流行的基于NIO的框架主要有：Mina、Netty、Grizzly等。

1、Mina
Mina(Multipurpose Infrastructure for Network Applications) 是 Apache 组织一个较新的项目，它为开发高性能和高可用性的网络应用程序提供了非常便利的框架。当前发行的 Mina 版本2.04支持基于 Java NIO 技术的 TCP/UDP 应用程序开发、串口通讯程序，Mina 所支持的功能也在进一步的扩展中。
目前，正在使用Mina的应用包括：Apache Directory Project、AsyncWeb、AMQP（Advanced Message Queuing Protocol）、RED5 Server（Macromedia Flash Media RTMP）、ObjectRADIUS、 Openfire等等。

2、Netty
Netty是一款异步的事件驱动的网络应用框架和工具，用于快速开发可维护的高性能、高扩展性协议服务器和客户端。也就是说，Netty是一个NIO客户端/服务器框架，支持快速、简单地开发网络应用，如协议服务器和客户端。它极大简化了网络编程，如TCP和UDP套接字服务器。

3、Grizzly
Grizzly是一种应用程序框架，专门解决编写成千上万用户访问服务器时候产生的各种问题。使用JAVA NIO作为基础，并隐藏其编程的复杂性。容易使用的高性能的API。带来非阻塞socketd到协议处理层。利用高性能的缓冲和缓冲管理使用高性能的线程池。

现在最流行的当属于Netty，那么为啥这个框架能火呢？优点如下：

1、API使用简单，开发门槛低；
2、功能强大，预置了多种编解码功能，支持多种主流协议；
3、定制能力强，可以通过ChannelHandler对通信框架进行灵活地扩展；
4、性能高，通过与其他业界主流的NIO框架对比，Netty的综合性能最优；
5、成熟、稳定，Netty修复了已经发现的所有JDK NIO BUG，业务开发人员不需要再为NIO的BUG而烦恼；
6、社区活跃，版本迭代周期短，发现的BUG可以被及时修复，同时，更多的新功能会加入；
7、经历了大规模的商业应用考验，质量得到验证。在互联网、大数据、网络游戏、企业应用、电信软件等众多行业得到成功商用，证明了它已经完全能够满足不同行业的商业应用了。

与Mina相比有什么优势：
1、都是Trustin Lee的作品，Netty更晚；
2、Mina将内核和一些特性的联系过于紧密，使得用户在不需要这些特性的时候无法脱离，相比下性能会有所下降，Netty解决了这个设计问题；
3、Netty的文档更清晰，很多Mina的特性在Netty里都有；
4、Netty更新周期更短，新版本的发布比较快；
5、它们的架构差别不大，Mina靠apache生存，而Netty靠jboss，和jboss的结合度非常高，Netty有对google protocal buf的支持，有更完整的ioc容器支持(spring,guice,jbossmc和osgi)；
6、Netty比Mina使用起来更简单，Netty里你可以自定义的处理upstream events或/和downstream events，可以使用decoder和encoder来解码和编码发送内容；
7、Netty和Mina在处理UDP时有一些不同，Netty将UDP无连接的特性暴露出来；而Mina对UDP进行了高级层次的抽象，可以把UDP当成"面向连接"的协议，而要Netty做到这一点比较困难。
8、从任务调度粒度上看，mina会将有IO任务的session写入队列中，当循环执行任务时，则会轮询所有的session，并依次把session中的所有任务取出来运行。这样粗粒度的调度是不公平调度，会导致某些请求的延迟很高。

参考：https://blog.csdn.net/qq_41701956/article/details/80346815

https://blog.csdn.net/charjay_lin/article/details/81810922

另外一篇有研究价值:https://mp.weixin.qq.com/s/c9tkrokcDQR375kiwCeV9w?