IO与NIO学习笔记

最新推荐文章于 2022-11-14 13:50:11 发布

杨木瓜

最新推荐文章于 2022-11-14 13:50:11 发布

阅读量321

点赞数

分类专栏：学习笔记

本文链接：https://blog.csdn.net/weixin_43218758/article/details/95937927

版权

学习笔记专栏收录该内容

6 篇文章 0 订阅

订阅专栏

IO与NIO学习笔记

文章目录

- - IO与NIO学习笔记

1. 阻塞与同步

1.1 阻塞与非阻塞

阻塞和非阻塞是进程在访问数据的时候，数据是否准备就绪的一种处理方式，当数据没有准备的时候

阻塞：需要等待缓冲区中的数据准备好过后才处理其他事情，否则一直等待在那里

非阻塞：当我们的进程访问我们的数据缓冲区的时候，如果数据没有准备好则直接返回，不会等待。如果数据已经准备好，也直接返回。

1.2 同步与异步

同步和异步都是基于应用程序与操作系统处理I/O事件所采用的方式，比如同步是应用程序直接参与IO读写的操作，而异步是所有的IO读写都交给了操作系统去处理，应用程序只需要等待结果
同步方式在处理IO事件的时候，必须阻塞在某个方法上面等待IO事件的完成(阻塞IO事件或者通过轮询IO事件的方式)，对应异步来说，所有的读写都交给了操作系统。这个时候，我们可以去做其他的事情，并不用去完成真正的IO操作，而是当操作系统完成IO后会给应用程序一个通知。

2. IO与NIO对比

2.1 区别

IO模型	IO	NIO
方式	从硬盘到内存	从内存到硬盘
通信	面向流（乡村公路）	面向缓存（高速公路，多路复用技术）
处理	阻塞IO（多线程）	非阻塞IO（反应堆Reactor）
触发	无	选择器（轮询机制）

2.2 面向流与面向缓冲

IO与NIO之间一个最大的区别是，IO是面向流的，而NIO是面向缓冲区的。IO面向流意味着每次从流中读一个或多个字节，直到读取所有字节，它们没有被缓存在任何地方。此外，它不能前后移动流中的数据，如果需要前后移动从流中读取的数据，需要先将它缓存到一个缓冲区。
NIO的缓冲导向略有不同，数据读取到一个它稍后处理的缓冲区，需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是，还需要检查是否该缓冲区中包含所有需要处理的数据。而且，需确保当更多的数据读入缓冲区时，不要覆盖缓冲区里尚未处理的数据。

2.3 阻塞与非阻塞IO

IO的各种流是阻塞的。这意味着，当一个线程调用read()或write()时，该线程被阻塞，直到一些数据被读取或数据完全写入。该线程在此期间不能再干任何事情。而NIO的非阻塞模式，使一个线程从某通道发送请求数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取，而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可以继续做其他的事情。非阻塞写也是如此，一个线程请求写入一些数据到某通道，但她不需要等待它完全写入，这个线程可以同时去做别的事情。线程通常将非阻塞IO的空闲时间用于在其他通道上执行IO操作，所以一个单独的线程可以管理多个输入和输出通道(channel)

2.4 选择器

NIO的选择器允许一个单独的线程来监视多个输入通道，可以注册多个通道使用一个选择器，然后使用一个单独的线程来选择通道：这些通道里已经有可以处理的输入，或者选择已准备写入的通道。这种机制，使得一个单独的线程很容易来管理多个通道。

2.5 数据调用

在IO中，主要从InputStream或Reader逐个字节读取数据例如正在处理一个基于行的文本数据流，为:
```
Name: Anna
Age: 25
Email: anna@mailserver.com
Phone: 1234567890
```
该文本行的流可以这样处理：
```
InputStream input = … ; // get the InputStream from the client socket
BufferedReader reader = new BufferedReader(new InputStreamReader(input));

String nameLine   = reader.readLine();
String ageLine    = reader.readLine();
String emailLine  = reader.readLine();
String phoneLine  = reader.readLine();
```
由上述例子克制，一旦reader.readLine()方法返回，即一行文本已经读完，readLine()阻塞直到整行读完，这就是原因。一旦正在运行的线程已处理过读入的某些数据，该线程不会再回退数据。
在NIO中的实现会有所不同，如下述案例:
```
ByteBuffer buffer = ByteBuffer.allocate(48);
int bytesRead = inChannel.read(buffer);
```
从channel读取字节到ByteBuffer，当这个方法调用返回时，你不知道你所需要的所有数据是否在缓冲区内，你所知道的是，该缓冲区包含一些字节。假设第一次read(buffer)调用后，读入缓冲区的数据只有半行，例如“name：An”,你能处理数据吗？显然不能，你需要等待，直到整行数据读入缓存。在此之前，对数据的任何处理毫无意义。所以在调用数据的时候，必须检查数据是否完整，这取决于缓冲区是否已满，换句话说，如果缓冲区准备好被处理了，name表示缓冲区满了。下图展示了“缓冲区数据循环就绪”：

在这里插入图片描述

2.6 总结

NIO可以达到使用一个或几个单线程管理多个通道(网络连接或文件)，但付出的代价是解析数据可能会比从一个阻塞流中读取数据更复杂。
如果需要管理同时打开的成千上万个连接，这些连接每次只是发送少量数据，例如聊天服务器，实现NIO的服务器可能是一个优势。同样，如果需要维持许多打开的连接到其他计算机上，如P2P网络中，使用一个单独的线程来管理所有出站连接，这可能是一个优势。一个线程多个连接的设计方案如下图所示:

在这里插入图片描述

如果有少量的连接使用非常高的带宽，一次发送大量的数据，也许典型的IO服务器实现可能非常契合.

在这里插入图片描述

3. NIO详解

3.1 NIO简介

NIO是一个面向块的I/O系统，系统以块的方式处理，按块处理比按字节处理数据快得多。在NIO中由几个核心对象：缓冲区(Buffer)、通道(Channel)、选择器(Selector)。

在这里插入图片描述

3.2 缓冲区Buffer

缓冲区实际上是一个容器对象，更直接的说，其实就是一个数组。在NIO库中，所有数据都是用缓冲区处理。在读取数据时，它是直接读到缓冲区中；在写入数据时，它也是写入到缓冲区中。任何时候访问NIO的数据，都是将它放到缓冲区中。而在面向流的I/O系统中，所有的数据都是直接写入或者直接将数据读取到Stream对象中。
在NIO中，所有的缓冲区类型都继承于抽象类Buffer，最常用的就是ByteBuffer，对于JAVA中的基本类型，基本都有一个具体Buffer类型与之相对应，他们之间的继承关系如下图所示：

在这里插入图片描述

容量(Capacity):缓冲区能够容纳的数据元素的最大数量。这一个容量在缓冲区被创建时设定，并且不能改变
上界(Limit):缓冲区的第一个不能被读或写的元素。或者说，缓冲区中现存元素的计数。
位置(Position):下一个要被读或写的元素的索引。位置会自动由相应的get()和put()函数更新
标记(Mark)：下一个要被读或写的元素的索引。位置会自动由相应的get()和put()函数更新

Buffer的常见方法
1. flip()：写模式转换成读模式
2. rewind()：将position重置为0，一直用于重复读
3. clear() : 重设缓冲区以便接受更多的字节
4. conpact()：将未读取的数据拷贝到buffer的头部位
5. mark()：mark可以标记一个位置，而reset()可以重置到该位置
6. buffer常见的类型：ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。
flip( )和clear( )详解
- flip( )方法

在这里插入图片描述

调用buffer.flip()方法，这个方法把当前的指针位置position设置成limit，再将当前指针position指向数据的最开始端，现在就可以将数据从缓冲区写入通道了。position被设置为0，这意味着我们得到的下一个字节是第一个字节，limit已被设置为原来的position，这意味着它包括以前读到的所有字节，而且一个字节也不多。为什么要这样呢？比如需要将缓冲区数据取出来解析（get方法），我现在要读了，就不要再写了，所以调用flip（）方法，保存现在状态不再写入数据。

clear()方法

在这里插入图片描述
这个方法重设缓冲区以便接收更多的字节。

缓冲区存取数据流程

存数据时position会++，当停止数据读取的时候调用flip()，此时limit=position，position=0。读取数据时position++，一直读取到limit时，clear() 清空 buffer ，准备再次被写入 (position 变成 0 ， limit 变成 capacity) 。

3.3 通道Channel

Channel是一个对象，可以通过它读取和写入数据。可以把它看做IO中的流。但是它和流相比还有一些不同：
1. Channel是双向的，既可以读又可以写，而流是单向的
2. Channel可以进行异步的读写
3. 对Channel的读写必须通过buffer对象
  正如上面提到的，所有数据都通过Buffer对象处理，所以，您永远不会将字节直接写入到Channel中，相反，您是将数据写入到Buffer中；同样，您也不会从Channel中读取字节，而是将数据从Channel读入Buffer，再从Buffer获取这个字节。
  因为Channel是双向的，所以Channel可以比流更好地反映出底层操作系统的真实情况。特别是在Unix模型中，底层操作系统通常都是双向的。

在这里插入图片描述

Channel的类型：
1. FileChannel：从文件读取数据
2. DatagramChannel：读写UDP网络协议数据
3. SocketChannel：读写TCP网络协议数据
4. ServerSocketChannel：可以监听TCP连接
1）使用NIO读取数据
在前面我们说过，任何时候读取数据，都不是直接从通道读取，而是从通道读取到缓冲区。所以使用NIO读取数据可以分为下面三个步骤：
1. 从FileInputStream获取Channel
2. 创建Buffer
3. 将数据从Channel读取到Buffer中
2）使用NIO写入数据
使用NIO写入数据与读取数据的过程类似，同样数据不是直接写入通道，而是写入缓冲区，可以分为下面三个步骤：
1. 从FileInputStream获取Channel
2. 创建Buffer
3. 将数据从Channel写入到Buffer中

3.4 选择器Selector

传统的 server / client 模式会基于 TPR ( Thread per Request ) ．服务器会为每个客户端请求建立一个线程．由该线程单独负贵处理一个客户请求。这种模式带未的一个问题就是线程数是的剧增．大量的线程会增大服务器的开销，大多数的实现为了避免这个问题，都采用了线程池模型，并设置线程池线程的最大数量，这又带来了新的问题，如果线程池中有 200 个线程，而有 200 个用户都在进行大文件下载，会导致第 201 个用户的请求无法及时处理，即便第 201 个用户只想请求一个几 KB 大小的页面。传统的 Sorvor / Client 模式如下围所示：

在这里插入图片描述

NIO 中非阻塞IO采用了基于Reactor模式的工作方式，IO调用不会被阻塞，相反是注册感兴趣的特点IO事件，如可读数据到达，新的套接字等等，在发生持定率件时，系统再通知我们。 NlO中实现非阻塞IO的核心设计Selector，Selector就是注册各种IO事件的地方，而且当那些事件发生时，就是这个对象告诉我们所发生的事件。
当有读或者写等任何注册的事件发生时，可以从Selector中获得相应的SelectionKey，同时从SelectionKey中可以找到发生的事件和该事件所发生的具体的SelectableChannel，以获得客户端发送过来的数据。
使用NIO中非阻塞IO编写服务器处理程序，有三个步骤
1.向Selector对象注册感兴趣的事件
2.从Selector中获取感兴趣的事件
3.根据不同事件进行相应的处理
选择器是NIO的核心，它是channel的管理者,通过执行select()阻塞方法，监听是否有channel准备好一旦有数据可读，此方法的返回值是SelectionKey的数量。所以服务端通常会死循环执行select()方法，直到有channl准备就绪，然后开始工作
每个channel都会和Selector绑定一个事件，然后生成一个SelectionKey的对象
需要注意的是：
channel和Selector绑定时，channel必须是非阻塞模式
而FileChannel不能切换到非阻塞模式，因为它不是套接字通道，所以FileChannel不能和Selector绑定事件
在NIO中一共有四种事件：
1.SelectionKey.OP_CONNECT：连接事件
2.SelectionKey.OP_ACCEPT：接收事件
3.SelectionKey.OP_READ：读事件

4.SelectionKey.OP_WRITE：写事件