IO知识点汇总

最新推荐文章于 2023-04-11 20:38:52 发布

hellosc01

最新推荐文章于 2023-04-11 20:38:52 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/sc179/article/details/117898274

版权

IO模型

IO模型：就是选择什么样的通信模式和架构（即使用什么样的通道）进行数据的传输与接收，很大程度上决定了程序通信的性能；
实际通信需求下，要根据不同的业务场景和性能需求决定选择不同的IO模型；

1 字节流、字符流

1.1 字节与字符

bit：位，表示信息的最小单位，二进制位，取0或1；
Byte：字节，计算机操作数据的最小单位，由8位bit组成，取值范围-128~127；
char：字符，用户可读写的最小单位，在Java中由16位bit组成，取值范围（0~65535）；

1.2 字节流

以字节为单位读写数据的流，主要操作类是InputStream、OutputStream的子类；
不用缓冲区，直接对文件本身操作；

1.3 字符流

以字符为单位读写数据的流，主要操作类是Reader、Writer的子类；
使用缓冲区缓冲字符，不关闭流就不会输出任何内容；

1.4 互相转换

整个IO包可划分为字节流和字符流，但除了这两个流之外，还存在一组字节流—字符流的转换类；
OutputStreamWriter：Writer的子类，将输出的字符流变为字节流，即将一个字符流输出对象变为字节流输出对象；
InputStreamReader：Reader的子类，将输入的字节流变为字符流，即将一个字节流的输入对象变为字符流的输入对象；

2 输入流、输出流

输入流 ：把数据从其他设备上读取到内存中的流；
输出流 ：把数据从内存中写出到其他设备上的流；

3 字节流和字符流之间的相互转换

想要实现字符流和字节流之间的相互转换需要用到两个类：1 OutputStreamWriter 是字符流通向字节流的桥梁、2 InputStreamReader 是字节流通向字符流的桥梁；

3.1 字符流转成字节流

public static void main(String[] args) throws IOException {
    File f = new File("test.txt");
    // OutputStreamWriter 是字符流通向字节流的桥梁,创建了一个字符流通向字节流的对象
    OutputStreamWriter osw = new OutputStreamWriter(new FileOutputStream(f),"UTF-8");
    osw.write("我是字符流转换成字节流输出的");
    osw.close();
}

3.2 字节流转成字符流

  public static void main(String[] args) throws IOException {  
        File f = new File("test.txt");
        InputStreamReader inr = new InputStreamReader(new FileInputStream(f),"UTF-8");   
        char[] buf = new char[1024];
        int len = inr.read(buf);
        System.out.println(new String(buf,0,len));
        inr.close();
    }

4 同步和异步、阻塞和非阻塞

4.1 同步/异步

同步异步描述的是消息通信的机制。

同步：当一个request发送出去以后，会立刻得到一个response，哪怕response为空；
异步：当一个request发送出去以后，没有立刻得到想要的response，而是后来通过callback、状态或通知的方式得到；

同步和异步描述的是被调用者。

如A调用B

**同步**：B在接到A的调用后，会立即执行要做的事，A的本次调用可以立刻得到结果；
**异步**：B在接到A的调用后，不保证会立即执行要做的事，但是保证会去做，B在做好了后会通知A；

4.2 阻塞/非阻塞

阻塞和非阻塞描述的是程序在等待调用结果时的状态。

阻塞：调用结果返回前，线程会被挂起；（比如服务器的socket.accept()等待客户端返回结果，进入阻塞）
非阻塞：调用结果返回前，线程不会被挂起，继续执行下一个调用；

如A调用B

1. **阻塞**：A在B返回结果前，线程会被挂起，在此过程中不能执行下一个调用；
2. **非阻塞**：A在B返回结果前，线程不会被挂起，而是立即执行下一个调用；

## 4.3 同步、异步和阻塞、非阻塞之间的区别
1. 同步/异步描述被调用方，阻塞/非阻塞描述调用方；
2. 同步不一定阻塞，异步也不一定非阻塞。没有必然关系。

**举例说明：老张烧水**

1. 老张把水壶放到火上，一直在水壶旁等着水开；（同步阻塞）
2. 老张把水壶放到火上，去客厅看电视，时不时去厨房看看水开没有；（同步非阻塞）
3. 老张把响水壶放到火上，一直在水壶旁等着水开；（异步阻塞）
4. 老张把响水壶放到火上，去客厅看电视，水壶响之前不去看它，响了再去拿壶；（异步非阻塞）
5. 1和2的区别是，调用方在得到返回之前所做的事情不一样。 1和3的区别是，被调用方对于烧水的处理不一样。

同步调用与异步调用

同步调用就是客户端等待调用执行完成并返回结果，异步调用就是客户端不等待调用执行完成返回结果，不过依然可以通过回调函数等接收到返回结果的通知；
如果客户端并不关心结果，则可以变成一个单向的调用。这个过程有点类似于Java中的Callable和Runnable接口，我们进行异步调用的时候，如果需要知道执行的结果，就可以使用Callable接口，并且通过FutureTask类获取到异步执行的结果；如果不关心执行的结果，直接使用Runnable接口就可以了，因为它不返回结果；

5 Linux5种IO模型

5.1 阻塞式IO模型

最传统的一种IO模型，在读写数据过程中会发送阻塞现象；
当用户线程发出IO请求之后，内核会去查看数据是否就绪，如果没有就绪就会等待数据就绪，而用户线程就会处于阻塞状态，同时交出CPU；
当数据就绪之后，内核会将数据拷贝到用户线程，并将结果返回给用户线程，用户线程才解除阻塞状态；如果数据没有就绪，将一直阻塞在read方法；

典型的阻塞IO模型的例子为：

data = socket.read();

5.2 非阻塞IO模型

当用户线程发起一个read操作，并不需要等待，而是马上就得到一个结果；
如果结果是一个error，说明数据还没有准备好，于是它可以再次发送read操作；
一旦内核中的数据准备好了，并且又再次收到了用户线程的请求，那么它马上就将数据拷贝到用户线程，然后返回；
事实上，在非阻塞IO模型中，用户线程需要不断地询问内核数据是否就绪，也就说非阻塞IO不会交出CPU，而会一直占用CPU；

典型的非阻塞IO模型一般如下：

while(true){
    data = socket.read();
    if(data!= error){
        处理数据
        break;
    }
}

对于非阻塞IO有一个非常严重的问题，在while循环中需要不断地去询问内核数据是否就绪，这样会导致CPU占用率非常高，因此一般情况下很少使用while循环这种方式来读取数据；

5.3 IO复用模型

多路复用IO模型是目前使用得比较多的模型，Java NIO实际上就是多路复用IO；
在多路复用IO模型中，会有一个线程不断去轮询多个socket的状态，只有当socket真正有读写事件时，才真正调用实际的IO读写操作。因为在多路复用IO模型中，只需要使用一个线程就可以管理多个socket，系统不需要建立新的进程或者线程，也不必维护这些线程和进程，并且只有在真正有socket读写事件进行时，才会使用IO资源，所以它大大减少了资源占用；
另外多路复用IO为何比非阻塞IO模型的效率高是因为在非阻塞IO中，不断地询问socket状态是通过用户线程去进行的，而在多路复用IO中，轮询每个socket状态是内核在进行，这个效率要比用户线程要高得多；
不过要注意的是，多路复用IO模型是通过轮询的方式来检测是否有事件到达，并且对到达的事件逐一进行响应。因此对于多路复用IO模型来说，一旦事件响应体很大，那么就会导致后续的事件迟迟得不到处理，并且会影响新的事件轮询；

5.4 信号驱动IO模型

在信号驱动IO模型中，当用户线程发起一个IO请求操作，会给对应的socket注册一个信号函数，然后用户线程会继续执行；
当内核数据就绪时会发送一个信号给用户线程，用户线程接收到信号之后，便在信号函数中调用IO读写操作来进行实际的IO请求操作；

5.5 异步IO模型

异步IO模型是比较理想的IO模型，在异步IO模型中，当用户线程发起read操作之后，立刻就可以开始去做其它的事。而另一方面，从内核的角度，当它收到一个asynchronous read之后，它会立刻返回，说明read请求已经成功发起了，因此不会对用户线程产生任何block；
然后，内核会等待数据准备完成，然后将数据拷贝到用户线程，当这一切都完成之后，内核会给用户线程发送一个信号，告诉它read操作完成了。也就说用户线程完全不需要知道实际的整个IO操作是如何进行的，只需要先发起一个请求，当接收内核返回的成功信号时表示IO操作已经完成，可以直接去使用数据了；
也就说在异步IO模型中，IO操作的两个阶段都不会阻塞用户线程，这两个阶段都是由内核自动完成，然后发送一个信号告知用户线程操作已完成。用户线程中不需要再次调用IO函数进行具体的读写。这点是和信号驱动模型有所不同的，在信号驱动模型中，当用户线程接收到信号表示数据已经就绪，然后需要用户线程调用IO函数进行实际的读写操作；而在异步IO模型中，收到信号表示IO操作已经完成，不需要再在用户线程中调用IO函数进行实际的读写操作；
注意，异步IO是需要操作系统的底层支持，在Java 7中，提供了Asynchronous IO；
前面四种IO模型实际上都属于同步IO，只有最后一种是真正的异步IO，因为无论是多路复用IO还是信号驱动模型，IO操作的第2个阶段都会引起用户线程阻塞，也就是内核进行数据拷贝的过程都会让用户线程阻塞；

6 BIO、NIO和AIO

6.1 BIO

同步阻塞 I/O 模型。

服务器实现模式为一个连接一个线程，即客户端有连接请求时服务端就启动一个线程进行处理，如果这个连接不做任何事情就会造成不必要的线程开销；可以通过线程池机制改善；
适用于连接数比较少且固定的架构，对服务器资源要求比较高，并发局限于应用中，程序直观简单易理解；

6.2 NIO

同步非阻塞 I/O 模型。

服务器实现模式为一个请求一个线程，即客户端发送的连接请求都会注册到多路复用器selector上，selector轮询到有IO请求时才启动一个线程进行处理，减少了资源占用；用户进程也需要不停地去询问IO操作是否就绪；
适用于连接数目多且连接比较短（轻操作）的架构，比如聊天服务器，并发局限于应用中，编程比较复杂；

6.3 AIO

异步非阻塞 I/O 模型。

服务器实现模式为一个有效请求一个线程，客户端的IO请求都是由OS先完成了再通知服务器去启动线程进行处理；
用户进程发起一个IO请求后立刻返回，不会阻塞在那里，等IO操作真正完成以后，用户进程会得到IO操作完成的通知，此时用户进程只需要对数据进行处理就好了，不需要进行实际的IO读写操作，因为真正的IO读写操作已经由内核完成了；而NIO在IO操作准备好时，得到通知，接着由用户进程自己进行IO操作，其本身是同步的；
在AIO中，用户进程发起请求后，可以立刻去做其他事，而BIO和NIO都会造成用户进程的阻塞；
适用于连接数目多且连接比较长（重操作）的架构，比如相册服务器，充分调用OS参与并发操作，编程比较复杂；

7 Netty

Netty是一个非阻塞I/O客户端-服务器框架，主要用于开发Java网络应用程序，如协议服务器和客户端；
除了作为异步网络应用程序框架，Netty还包括了对HTTP、HTTP2、DNS及其他协议的支持，涵盖了在Servlet容器内运行的能力、对WebSockets的支持、与Google Protocol Buffers的集成、对SSL/TLS的支持以及对用于SPDY协议和消息压缩的支持；
本质：JBoss做的一个Jar包；目的：快速开发高性能、高可靠性的网络服务器和客户端程序；优点：提供异步的、事件驱动的网络应用程序框架和工具；