Java IO：unix5种IO模型，及Java的3种IO

最新推荐文章于 2021-04-23 16:54:06 发布

拉布拉多oop

最新推荐文章于 2021-04-23 16:54:06 发布

阅读量174

点赞数 1

分类专栏： java IO

本文链接：https://blog.csdn.net/starbxx/article/details/95481693

版权

java IO 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.UNIX 5种IO模型

一个输入操作通常包括两个阶段：

（1）等待数据准备好
（2）从内核向进程复制数据

对于一个套接字上的输入操作，第一步通常涉及等待数据从网络中到达。当所等待数据到达时，它被复制到内核中的某个缓冲区。第二步就是把数据从内核缓冲区复制到应用进程缓冲区。

UNIX 5种IO模型：阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO。

（1）阻塞与非阻塞：第一阶段的区分。

阻塞的有：阻塞IO、IO复用。

非阻塞的有：非阻塞IO、信号驱动IO、异步IO。

（2）同步与异步：第二阶段的区分，从内核拷贝数据到用户进程这个阶段，发生阻塞的是同步，不发生阻塞的是异步。

前面四种都是同步的，异步的只有最后一种。

UNIX网络编程书中，使用的例子都是基于UDP的，因为就UDP而言，数据准备好的概念比较简单，要么整个数据报已经收到，要么还没有，而对于TCP而言，需要额外的标记，如套接字低潮标记（low-water mark）等，额外开销，变得复杂。
本节将 recvfrom函数 作为 系统调用 。

在阻塞IO中，进程调用recvfrom，其系统调用直到数据报到达内核，并且被拷贝到应用进程的缓冲区或者发生错误时才返回。整个阶段都是被阻塞的。recvfrom成功返回后，应用进程处理数据报。
在这里插入图片描述
非阻塞IO中：在等待数据阶段，程序一直调用recvfrom函数，如果数据没有准备好，则系统返回一个错误码，如果准备好了，就将数据拷贝到用户程序缓冲区，并成功返回。
如上图：前三次调用时，没有数据可返回，则返回错误码。第四次调用时，已经有一个数据报准备好了，将它拷贝到进程缓冲区，于是返回成功。
轮询（polling）：像上面那样一直非阻塞地循环调用recvfrom的情况，就叫轮询。进程持续轮询内核，以查看操作系统是否就绪。这么做往往消耗大量CPU时间。
在这里插入图片描述
IO复用：我们可以调用select或者poll，这样阻塞就会阻塞在这两个系统调用中的某一个上，而不是阻塞在真正的IO系统调用上。
如上图：先启动select调用，阻塞，等待数据报套接口变为可读。当select返回可读条件时，再调用recvfrom把数据报拷贝到进程缓冲区。
在这里插入图片描述
信号驱动IO：先开启套接口的信号驱动IO功能，并通过sigaction系统调用安装一个信号处理函数。该系统调用立即返回，我们的进程可以继续工作，就是说它没有被阻塞。当数据报准备好，内核就为该进程产生一个SIGIO信号，随后，进程就可以在信号处理函数中调用recvfrom来读取数据。
在这里插入图片描述
异步IO：异步IO和信号驱动IO的区别在于：信号驱动IO是内核准备好数据，就通知用户进程。而异步IO是内核IO完成（即数据拷贝完成）才通知进程。

2. java 中的IO、NIO、AIO

一、IO流（同步、阻塞）

1、概述

IO流简单来说就是input和output流，IO流主要是用来处理设备之间的数据传输，Java IO对于数据的操作都是通过流实现的，而java用于操作流的对象都在IO包中。

2、分类

按操作数据分为：字节流（Reader、Writer）和字符流（InputStream、OutputStream）

按流向分：输入流（Reader、InputStream）和输出流（Writer、OutputStream）
在这里插入图片描述

3、字符流

（1）概述

只用来处理文本数据
数据最常见的表现形式是文件，字符流用来操作文件的子类一般是FileReader和FileWriter
字符流读写文件注意事项：

（2）写入文件必须要用flush()刷新

用完流记得要关闭流
使用流对象要抛出IO异常
定义文件路径时，可以用"/“或者”"
在创建一个文件时，如果目录下有同名文件将被覆盖
在读取文件时，必须保证该文件已存在，否则抛出异常
字符流的缓冲区
缓冲区的出现是为了提高流的操作效率而出现的
需要被提高效率的流作为参数传递给缓冲区的构造函数
在缓冲区中封装了一个数组，存入数据后一次取出

4、字节流

（1）概述

用来处理媒体数据

（2）字节流读写文件注意事项：

字节流和字符流的基本操作是相同的，但是想要操作媒体流就需要用到字节流
字节流因为操作的是字节，所以可以用来操作媒体文件（媒体文件也是以字节存储的）
输入流（InputStream）、输出流（OutputStream）
字节流操作可以不用刷新流操作
InputStream特有方法：int available()（返回文件中的字节个数）
字节流的缓冲区
字节流缓冲区跟字符流缓冲区一样，也是为了提高效率

5、Java Scanner类

Java 5添加了java.util.Scanner类，这是一个用于扫描输入文本的新的实用程序

关于nextInt()、next()、nextLine()的理解

nextInt()：只能读取数值，若是格式不对，会抛出java.util.InputMismatchException异常
next()：遇见第一个有效字符（非空格，非换行符）时，开始扫描，当遇见第一个分隔符或结束符（空格或换行符）时，结束扫描，获取扫描到的内容
nextLine()：可以扫描到一行内容并作为字符串而被捕获到

关于hasNext()、hasNextLine()、hasNextxxx()的理解

就是为了判断输入行中是否还存在xxx的意思

与delimiter()有关的方法

应该是输入内容的分隔符设置，

二、NIO（同步、非阻塞）

NIO之所以是同步，是因为它的accept/read/write方法的内核I/O操作都会阻塞当前线程。

首先，我们要先了解一下NIO的三个主要组成部分**：Channel（通道）、Buffer（缓冲区）、Selector（选择器）**

（1）Channel（通道）

Channel（通道）：Channel是一个对象，可以通过它读取和写入数据。可以把它看做是IO中的流，不同的是：

Channel是双向的，既可以读又可以写，而流是单向的
Channel可以进行异步的读写
对Channel的读写必须通过buffer对象
正如上面提到的，所有数据都通过Buffer对象处理，所以，您永远不会将字节直接写入到Channel中，相反，您是将数据写入到Buffer中；同样，您也不会从Channel中读取字节，而是将数据从Channel读入Buffer，再从Buffer获取这个字节。

因为Channel是双向的，所以Channel可以比流更好地反映出底层操作系统的真实情况。特别是在Unix模型中，底层操作系统通常都是双向的。通道虽然是双向的，但每次只能读或者写，不能同时进行。

在Java NIO中的Channel主要有如下几种类型：

FileChannel：从文件读取数据的
DatagramChannel：读写UDP网络协议数据
SocketChannel：读写TCP网络协议数据
ServerSocketChannel：可以监听TCP连接

（2）Buffer

Buffer是一个对象，它包含一些要写入或者读到Stream对象的。应用程序不能直接对 Channel 进行读写操作，而必须通过 Buffer 来进行，即 Channel 是通过 Buffer 来读写数据的。

在NIO中，所有的数据都是用Buffer处理的，它是NIO读写数据的中转池。Buffer实质上是一个数组，通常是一个字节数据，但也可以是其他类型的数组。但一个缓冲区不仅仅是一个数组，重要的是它提供了对数据的结构化访问，而且还可以跟踪系统的读写进程。

使用 Buffer 读写数据一般遵循以下四个步骤：

1））写入数据到 Buffer；

2））调用 flip() 方法；

3））从 Buffer 中读取数据；

4））调用 clear() 方法或者 compact() 方法。

当向 Buffer 写入数据时，Buffer 会记录下写了多少数据。一旦要读取数据，需要通过 flip() 方法将 Buffer 从写模式切换到读模式。在读模式下，可以读取之前写入到 Buffer 的所有数据。
在这里插入图片描述
一旦读完了所有的数据，就需要清空缓冲区，让它可以再次被写入。有两种方式能清空缓冲区：调用 clear() 或 compact() 方法。clear() 方法会清空整个缓冲区。compact() 方法只会清除已经读过的数据。任何未读的数据都被移到缓冲区的起始处，新写入的数据将放到缓冲区未读数据的后面。

Buffer主要有如下几种：

ByteBuffer
CharBuffer
DoubleBuffer
FloatBuffer
IntBuffer
LongBuffer
ShortBuffer

copyFile实例（NIO）
CopyFile是一个非常好的读写结合的例子，我们将通过CopyFile这个实力让大家体会NIO的操作过程。CopyFile执行三个基本的操作：创建一个Buffer，然后从源文件读取数据到缓冲区，然后再将缓冲区写入目标文件。
在这里插入图片描述

（3）Selector（选择器对象）

首先需要了解一件事情就是线程上下文切换开销会在高并发时变得很明显，这是同步阻塞方式的低扩展性劣势。

Selector是一个对象，它可以注册到很多个Channel上，监听各个Channel上发生的事件，并且能够根据事件情况决定Channel读写。这样，通过一个线程管理多个Channel，就可以处理大量网络连接了。

selector优点
有了Selector，我们就可以利用一个线程来处理所有的channels。线程之间的切换对操作系统来说代价是很高的，并且每个线程也会占用一定的系统资源。所以，对系统来说使用的线程越少越好。

1).如何创建一个Selector

Selector 就是您注册对各种 I/O 事件兴趣的地方，而且当那些事件发生时，就是这个对象告诉您所发生的事件。、

Selector selector = Selector.open();

2).注册Channel到Selector

为了能让Channel和Selector配合使用，我们需要把Channel注册到Selector上。通过调用 channel.register（）方法来实现注册：

channel.configureBlocking(false);
SelectionKey key =channel.register(selector,SelectionKey.OP_READ);

注意，注册的Channel 必须设置成异步模式才可以,否则异步IO就无法工作，这就意味着我们不能把一个FileChannel注册到Selector，因为FileChannel没有异步模式，但是网络编程中的SocketChannel是可以的。

3).关于SelectionKey

请注意对register()的调用的返回值是一个SelectionKey。 SelectionKey 代表这个通道在此 Selector 上注册。当某个 Selector 通知您某个传入事件时，它是通过提供对应于该事件的 SelectionKey 来进行的。SelectionKey 还可以用于取消通道的注册。

SelectionKey中包含如下属性：

The interest set
The ready set
The Channel
The Selector
An attached object (optional)

（1）Interest set
就像我们在前面讲到的把Channel注册到Selector来监听感兴趣的事件，interest set就是你要选择的感兴趣的事件的集合。你可以通过SelectionKey对象来读写interest set:

int interestSet = selectionKey.interestOps();
boolean isInterestedInAccept  = interestSet & SelectionKey.OP_ACCEPT;
boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT;
boolean isInterestedInRead    = interestSet & SelectionKey.OP_READ;
boolean isInterestedInWrite   = interestSet & SelectionKey.OP_WRITE;

通过上面例子可以看到，我们可以通过用AND 和SelectionKey 中的常量做运算，从SelectionKey中找到我们感兴趣的事件。

（2）Ready Set
ready set 是通道已经准备就绪的操作的集合。在一次选Selection之后，你应该会首先访问这个ready set。Selection将在下一小节进行解释。可以这样访问ready集合：

int readySet = selectionKey.readyOps();

可以用像检测interest集合那样的方法，来检测Channel中什么事件或操作已经就绪。但是，也可以使用以下四个方法，它们都会返回一个布尔类型：

selectionKey.isAcceptable();
selectionKey.isConnectable();
selectionKey.isReadable();
selectionKey.isWritable();

（3）Channel 和 Selector
我们可以通过SelectionKey获得Selector和注册的Channel：

Channel  channel  = selectionKey.channel();
Selector selector = selectionKey.selector();

（4）Attach一个对象
可以将一个对象或者更多信息attach 到SelectionKey上，这样就能方便的识别某个给定的通道。例如，可以附加与通道一起使用的Buffer，或是包含聚集数据的某个对象。使用方法如下：

selectionKey.attach(theObject);
Object attachedObj = selectionKey.attachment();

还可以在用register()方法向Selector注册Channel的时候附加对象。如：

SelectionKey key = channel.register(selector, SelectionKey.OP_READ, theObject);

4).关于SelectedKeys()

生产系统中一般会额外进行就绪状态检查

一旦调用了select()方法，它就会返回一个数值，表示一个或多个通道已经就绪，然后你就可以通过调用selector.selectedKeys()方法返回的SelectionKey集合来获得就绪的Channel。请看演示方法：

Set<SelectionKey> selectedKeys = selector.selectedKeys();

当你通过Selector注册一个Channel时，channel.register()方法会返回一个SelectionKey对象，这个对象就代表了你注册的Channel。这些对象可以通过selectedKeys()方法获得。你可以通过迭代这些selected key来获得就绪的Channel，下面是演示代码：

Set<SelectionKey> selectedKeys = selector.selectedKeys();
Iterator<SelectionKey> keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) { 
SelectionKey key = keyIterator.next();
if(key.isAcceptable()) {
// a connection was accepted by a ServerSocketChannel.
} else if (key.isConnectable()) {
// a connection was established with a remote server.
} else if (key.isReadable()) {
// a channel is ready for reading
} else if (key.isWritable()) {
// a channel is ready for writing
}
keyIterator.remove();
}

这个循环遍历selected key的集合中的每个key，并对每个key做测试来判断哪个Channel已经就绪。

请注意循环中最后的keyIterator.remove()方法。Selector对象并不会从自己的selected key集合中自动移除SelectionKey实例。我们需要在处理完一个Channel的时候自己去移除。当下一次Channel就绪的时候，Selector会再次把它添加到selected key集合中。

SelectionKey.channel()方法返回的Channel需要转换成你具体要处理的类型，比如是ServerSocketChannel或者SocketChannel等等。

（4）NIO多路复用

主要步骤和元素：

首先，通过 Selector.open() 创建一个 Selector，作为类似调度员的角色。
然后，创建一个 ServerSocketChannel，并且向 Selector 注册，通过指定 SelectionKey.OP_ACCEPT，告诉调度员，它关注的是新的连接请求。
注意，为什么我们要明确配置非阻塞模式呢？这是因为阻塞模式下，注册操作是不允许的，会抛出 IllegalBlockingModeException 异常。
Selector 阻塞在 select 操作，当有 Channel 发生接入请求，就会被唤醒。
在具体的方法中，通过 SocketChannel 和 Buffer 进行数据操作。

IO 都是同步阻塞模式，所以需要多线程以实现多任务处理。而 NIO 则是利用了单线程轮询事件的机制，通过高效地定位就绪的 Channel，来决定做什么，仅仅 select 阶段是阻塞的，可以有效避免大量客户端连接时，频繁线程切换带来的问题，应用的扩展能力有了非常大的提高。

三、NIO2(异步、非阻塞)

AIO是异步IO的缩写，虽然NIO在网络操作中，提供了非阻塞的方法，但是NIO的IO行为还是同步的。对于NIO来说，我们的业务线程是在IO操作准备好时，得到通知，接着就由这个线程自行进行IO操作，IO操作本身是同步的。

但是对AIO来说，则更加进了一步，它不是在IO准备好时再通知线程，而是在IO操作已经完成后，再给线程发出通知。因此AIO是不会阻塞的，此时我们的业务逻辑将变成一个回调函数，等待IO操作完成后，由系统自动触发。

与NIO不同，当进行读写操作时，只须直接调用API的read或write方法即可。这两种方法均为异步的，对于读操作而言，当有流可读取时，操作系统会将可读的流传入read方法的缓冲区，并通知应用程序；对于写操作而言，当操作系统将write方法传递的流写入完毕时，操作系统主动通知应用程序。即可以理解为，read/write方法都是异步的，完成后会主动调用回调函数。在JDK1.7中，这部分内容被称作NIO.2，主要在Java.nio.channels包下增加了下面四个异步通道：

AsynchronousSocketChannel
AsynchronousServerSocketChannel
AsynchronousFileChannel
AsynchronousDatagramChannel

在AIO socket编程中，服务端通道是AsynchronousServerSocketChannel，这个类提供了一个open()静态工厂，一个bind()方法用于绑定服务端IP地址（还有端口号），另外还提供了accept()用于接收用户连接请求。在客户端使用的通道是AsynchronousSocketChannel,这个通道处理提供open静态工厂方法外，还提供了read和write方法。

在AIO编程中，发出一个事件（accept read write等）之后要指定事件处理类（回调函数），AIO中的事件处理类是CompletionHandler<V,A>，这个接口定义了如下两个方法，分别在异步操作成功和失败时被回调。

void completed(V result, A attachment);

void failed(Throwable exc, A attachment);

拉布拉多oop

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Java IO：unix5种IO模型，及Java的3种IO

1.UNIX 5种IO模型

UNIX 5种IO模型： 阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO。

（1）阻塞与非阻塞：第一阶段的区分。

阻塞的有：阻塞IO、IO复用。

非阻塞的有：非阻塞IO、信号驱动IO、异步IO。

（2）同步与异步：第二阶段的区分，从内核拷贝数据到用户进程这个阶段，发生阻塞的是同步，不发生阻塞的是异步。

前面四种都是同步的，异步的只有最后一种。

2. java 中的IO、NIO、AIO

一、IO流（同步、阻塞）

1、概述

2、分类

3、字符流

（1）概述

（2）写入文件必须要用flush()刷新

4、字节流

（1）概述

（2）字节流读写文件注意事项：

5、Java Scanner类

关于nextInt()、next()、nextLine()的理解

关于hasNext()、hasNextLine()、hasNextxxx()的理解

与delimiter()有关的方法

二、NIO（同步、非阻塞）

（1）Channel（通道）

（2）Buffer

1））写入数据到 Buffer；

2））调用 flip() 方法；

3））从 Buffer 中读取数据；

4））调用 clear() 方法或者 compact() 方法。

（3）Selector（选择器对象）

1).如何创建一个Selector

2).注册Channel到Selector

3).关于SelectionKey

4).关于SelectedKeys()

（4）NIO多路复用

三、NIO2(异步、非阻塞)

UNIX 5种IO模型：阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO。