IO基础知识——1、BIO、NIO、多路复用、AIO

最新推荐文章于 2024-07-27 20:44:33 发布

阿萨德执行

最新推荐文章于 2024-07-27 20:44:33 发布

阅读量783

点赞数

分类专栏： netty学习

原文链接：https://blog.csdn.net/u010365717/article/details/97795277

版权

netty学习专栏收录该内容

12 篇文章 1 订阅

订阅专栏

1.2.2 Non-blocking I/O

1.2.3 I/O multiplexing

1.2.4 信号驱动IO

本系列文章从IO基础到使用JAVA NIO实现Reactor模式，记录这几天学习的内容，其中网络借鉴较多（优选了作者TheLudlows的内容博文地址： https://blog.csdn.net/TheLudlows/article/details/77987926 等等），不一一列举了。

1、BIO、NIO、多路复用、AIO

1.1 概念说明

用户空间与内核空间

现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操心系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。

进程切换

为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说，任何进程都是在操作系统内核的支持下运行的，是与内核紧密相关的。这个过程比较耗费资源。

进程的阻塞

正在执行的进程，由于期待的某些事件未发生，如请求系统资源失败、等待某种操作的完成、新数据尚未到达或无新工作做等，则由系统自动执行阻塞原语(Block)，使自己由运行状态变为阻塞状态。可见，进程的阻塞是进程自身的一种主动行为，也因此只有处于运行态的进程（获得CPU），才可能将其转为阻塞状态。当进程进入阻塞状态，是不占用CPU资源的。

文件描述符fd

文件描述符（File descriptor）是计算机科学中的一个术语，是一个用于表述指向文件的引用的抽象化概念。Linux的内核将所有的外部设备都看作是一个文件来操作。

缓存 I/O
缓存 I/O 又被称作标准 I/O，大多数文件系统的默认 I/O 操作都是缓存 I/O。在 Linux 的缓存 I/O 机制中，操作系统会将 I/O 的数据缓存在文件系统的页缓存（ page cache ）中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。

1.2 I/O模型

网络IO操作实际过程涉及到内核和调用这个IO操作的进程。以socket read为例，read的具体操作分为以下两个部分:

1、内核等待数据可读

等待远程数据就绪。网卡会将数据报文传给协议栈，封装处理之后拷贝到内核缓冲区中
将数据从内核缓冲区拷贝到进程中

2、将内核读到的数据拷贝到进程中

linux系统产生了下面四种常见的网络模型：

同步阻塞I/O（Synchrohous, blocking I/O）
同步非阻塞I/O（Synchrohous, non-blocking I/O）
I/O多路复用（I/O Multiplexing），较为典型的实现有select和epoll模型
异步I/O（Asynchronous I/O）

阻塞与非阻塞：描述的是用户线程调用内核进行IO操作时的运行方式

阻塞：阻塞是指IO操作需要彻底完成后才返回到用户空间。
非阻塞：指IO操作被调用后立即返回给用户一个状态值，无需等到IO操作彻底完成。

同步和异步：描述的是用户线程与内核的交互方式

同步：用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行
异步：用户线程发起IO请求后仍继续执行，当内核IO操作完成后会通知用户线程，或者调用用户线程注册的回调函数。

1.2.1 Blocking I/O

当用户进程调用了recvfrom（经socket接收数据的函数）这个系统调用，kernel就开始了IO的第一个阶段：准备数据。对于network io来说，很多时候数据在一开始还没有到达（比如，还没有收到一个完整的UDP包），这个时候kernel就要等待足够的数据到来。而在用户进程这边，整个进程会被阻塞。当kernel一直等到数据准备好了，它就会将数据从kernel中拷贝到用户内存，然后kernel返回结果，用户进程才解除block的状态，重新运行起来。所以，blocking IO的特点就是在IO执行的两个阶段都被block了。

使用Blocking I/O，开发网络程序比较简单，容易实现。当希望能够立即发送和接收数据，且处理的套接字数量比较少的情况下，使用阻塞模式来开发网络程序比较合适。

Blocking I/O的不足表现为，在大量建立好的套接字线程之间进行通信时比较困难。当使用“生产者-消费者”模型开发网络程序时，为每个套接字都分别分配一个读线程、一个处理数据线程和一个用于同步的事件，那么这样无疑加大系统的开销。其最大的缺点是当希望同时处理大量套接字时，将无从下手，其扩展性很差

1.2.2 Non-blocking I/O

从图中可以看出，当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道数据还没有准备好，于是它可以再次发送read操作。一旦kernel中的数据准备好了，并且又再次收到了用户进程的system call，那么它马上就将数据拷贝到了用户内存，然后返回。所以，用户进程其实是需要不断的主动询问kernel数据好了没有。

1.2.3 I/O multiplexing

当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。

这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。
这个图和blocking IO的图其实并没有太大的不同，事实上，还更差一些。因为这里需要使用两个system call (select 和 recvfrom)，而blocking IO只调用了一个system call (recvfrom)。但是，用select的优势在于它可以同时处理多个connection。

（多说一句。所以，如果处理的连接数不是很高的话，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快，而是在于能处理更多的连接。）

1.2.4 信号驱动IO

首先我们允许套接口进行信号驱动I/O,并安装一个信号处理函数，进程继续运行并不阻塞。当数据准备好时，进程会收到一个SIGIO信号，可以在信号处理函数中调用I/O操作函数处理数据

1.2.5 异步IO模型

用户进程发起read操作之后，立刻就可以开始去做其它的事。而另一方面，从kernel的角度，当它受到一个asynchronous read之后，首先它会立刻返回，所以不会对用户进程产生任何block。然后，kernel会等待数据准备完成，然后将数据拷贝到用户内存，当这一切都完成之后，kernel会给用户进程发送一个signal，告诉它read操作完成了。