Linux 5种IO模型

已于 2023-05-22 22:35:00 修改
阅读量261 收藏 2
点赞数
分类专栏： Linux 文章标签： linux 运维 服务器
于 2023-05-22 22:27:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41613490/article/details/130816751
版权

Linux 5种IO模型

用户空间和内核空间

任何Linux发行版，其系统内核都是Linux，我们的应用都需要通过linux内核和硬件交互。

为了避免用户应用导致冲突甚至内核崩溃，用户空间和内核分离的。

  • 进程的寻址空间会划分为两部分：内核空间、用户空间

image-20230522174328228

image-20230522175341558

Linux 5-IO模型

阻塞IO

顾名思义,阻塞IO就是两个阶段都必须阻塞等待。

image-20230522180723437

非阻塞IO

顾名思义，非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。

  • 用户进程一直循环 在问内核空间数据是否准备好了，没有准备好返回错误，ok的话，返回数据。盲等空转的情况下，可能导致cpu暴增。
  • 当内核空间数据没有准备好的情况下，从内核空间给用户空间copy的线程，是阻塞的。

image-20230522181058300

无论是阻塞IO还是非阻塞IO，用户应用在一阶段都需要调用recvfrom来获取数据，差别在与无数据时的处理方案

  • 如果调用recvfrom时，恰好没有数据，阻塞IO会使进程阻塞，非阻塞IO使CPU空转，都不能充分发挥CPU的性能
  • 如果调用recvfrom时，恰好有数据，则用户进程可以直接进入第二阶段，读取并处理数据。

比如服务端处理客户端Socket请求时，在单线程情况下，智能一次处理每一个socket，如果正在处理的socket恰好未就绪，线程就会被阻塞，所有其他客户端socket都必须等待，性能自然会差。

多路复用IO

文件描述符：简称FD（File Description），是一个从0开始递增的无符号整数，用来关联linux中的一个文件。在linux 中，一切皆文件，例如常规文件、视频、硬件设备等，当然有包括套接字（socket）。

IO多路复用：是利用单个线程来同时监听多个FD，并在某个FD可读、可写时得到通知，从而避免无效的等待，充分利用CPU资源。

image-20230522200239897

监听FD的方式、通知的方式有多种实现，常见的有一下几种

Select模式

select模式存在的问题

  • 需要将整个fd_set从用户空间拷贝到内核空间，select结束还要再次拷贝回用户空间
  • select 无法得知具体是哪个fd就绪，需要遍历整个fd_set
  • fd_set 监听的fd数量不能超过1024

image-20230522212519690

Poll模式

poll模式对select模式做了简单改进，但性能提升不明显。

image-20230522213851120

IO流程

  1. 创建pollfd数组，向其中添加关注的fd信息，数组大小自定义
  2. 调用poll函数，将pollfd数据拷贝到内核空间，转链表存储，无上限
  3. 内核遍历fd，判断是否就绪
  4. 数据就绪或者超时后，拷贝pollfd数组到用户空间，返回就绪的fd数量n
  5. 用户进程判断n是否大于0
  6. 大于0则遍历pollfd数组，找到就绪的fd。

与select对比

  • select模式中的fd_set大小固定为1024，而pollfd在内核中采用链表，理论上无上限
  • 监听fd越多，每次遍历消耗时间越长，性能反而下降
Epoll模式

Epoll模式中如何解决这些问题？

  • 基于epoll实例中的红黑树保存要监听的FD，理论上无上限，而且增删改查效率都非常高，性能不会随监听的FD数量增多而下降
  • 每个FD只需要执行一次epoll_ctl 添加到红黑树，以后每次epol_wait无需传递任何参数，无需重复拷贝FD 到内核空间
  • 内核会将就绪的FD直接拷贝到用户空间的指定位置，用户进程无需遍历所有的Fd就知道就绪的FD是谁

image-20230522215839268

总结
  • select 和poll 只会通知用户进程有FD就绪，但不确定具体是哪个FD，需要用户进程逐个遍历FD 来确认。
  • epoll 则会在通知用户进程的FD 就绪的同时，把已就绪的FD写入用户空间

信号驱动IO

信号驱动IO：是与内核建立SIGIO的信号关联并设置回调，当内核有Fd就绪时，会发出SIGIO信号通知用户，期间用户应用可以执行其他业务，无需阻塞等待。

image-20230522221154334

缺点：

当有大量IO操作时，信号较多，SIGIO处理函数不能及时处理可能导致信号队列溢出。

而且内核空间与用户空间的频繁信号交互性能也比较低。

异步IO

异步IO 的整个过程都是非阻塞的，用户进程调用完异步api 就可以去做其他的事情，内核等待数据就绪并拷贝到用户空间后才会递交信号，通知用户进程。

image-20230522221623663

同步和异步

IO 操作是同步还是异步，关键看数据在内核空间还是用户空间的拷贝过程，（数据读写的IO操作）。也就是阶段二是同步还是异步。

image-20230522222338903

Damon-Rui
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Linux中5种IO模型
weixin_45819295的博客
07-15 2511
同步/异步，阻塞/非阻塞，Linux中5种IO模型，BIO、NIO、AIO
Linux 中的五种 I/O 模型
We choose to go to the moon in this decade and do the other things, not because they are easy, but beacase they are hard.
04-03 1303
阻塞 I/O 模型、非阻塞 I/O 模型、I/O 复用模型、信号驱动 I/O 模型、异步 I/O 模型
Linux的5种IO模型
byteinit的专栏
02-20 390
非阻塞IO模型与阻塞IO模型类似，但应用程序线程不会被阻塞。在非阻塞IO模型中，当应用程序发起一个IO请求时，如果内核无法立即完成该请求，应用程序线程可以继续执行其他操作，直到内核完成该请求并通知应用程序。阻塞IO模型是最简单的IO模型，也是最常用的IO模型之一。在阻塞IO模型中，当应用程序发起一个IO请求时，如果内核无法立即完成该请求，应用程序线程会被阻塞，直到内核完成该请求。IO多路复用模型允许应用程序监视多个IO句柄，并在一个线程中处理多个IO事件。
Linux下五种IO模型
m0_52165864的博客
06-20 1314
目录1、引入的概念1.1 用户空间和内核空间1.2 进程切换1.3 进程的阻塞 1.4文件描述符fd1.5 缓存IO2、Linux IO模型2.1 同步阻塞IO（blocking IO）2.1.1 同步阻塞情景描述：2.1.2 网络模型2.1.3 流程描述2.2 同步非阻塞IO（nonlocking IO）2.2.1 同步非阻塞情景描述2.2.2 网络模型2.2.3 流程描述2.3 IO多路复用(IO multiplexing）2.3.1 IO多路复用情景描述2.3.2 网络模型2.3.3 流程描述2.4
Linux的五个I/O模型
QtHalcon
09-23 4651
前面的 fcntl()函数解决了文件的共享问题， 接下来该处理 I/O 复用的情况了。 总的来说， I/O 处理的模型有 5 种。  1.阻塞 I/O 模型： 在这种模型下， 若所调用的 I/O 函数没有完成相关的功能， 则会使进程挂起， 直到相关数据到达才会返回。 如常见对管道设备、 终端设备和网络设备进行读写时经常会出现这种情况。 2.非阻塞 I/O 模型： 在这种模型下， ...
Linux下五种网络IO模型
yangrendong的专栏
05-24 2166
本文我们主要来了解一下Unix/Linux下5种网络IO模型：blocking IO, nonblocking IO, IO multiplexing, signal driven IO, asynchronous IO的基本原理，更好的理解在高级语言中的异步编程，一起来看看吧，希望对大家学习linux有所帮助。 　　写在前面 　　为了更好的理解下面提到的Linux下5种网络IO的概念，...
linux: 五种IO模型（IO多路复用）
qq_42665165的博客
01-03 202
linux: 五种IO模型（IO多路复用） 阻塞和非阻塞 侧重状态。 阻塞调用是指调用后对方一直没有给你回复，你一直等着，什么事都不能干。 非阻塞调用指在调用后一直没有给你回复，你每一段时间就问一次，你在这期间可以干别的。 同步和异步 侧重方式。 同步：甲方请求一次，乙方应答一次”这样的有序序列处理业务，只有当“一次请求一次应答”的过程结束才可以发生下一次的“一次请求一次应答”，那么就说他们采用的是同步。 异步：如果甲方只要有需要，就会发送请求，不管上次请求有没有得到乙方应答。而乙方只要甲方有请求就会接受，
Linux下的五种IO模型
02-26
针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0×00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。为了控制进程的...
linux 5中 IO模型.pptx
03-07
在Linux操作系统中，有五种主要的IO模型，分别是阻塞IO、非阻塞IO、IO多路复用、信号驱动IO和异步IO。这些模型决定了应用程序如何与硬件进行交互，以获取和处理输入/输出数据。以下是对这五种模型的详细解释： 1. ...
linux io 模型
01-09
linux io模型，区分阻塞非阻塞同步异步的概念，从底层理解io。
Linux 下的五种 IO 模型详细介绍
09-15
主要介绍了Linux 下的五种 IO 模型详细介绍的相关资料,需要的朋友可以参考下
Linux中的五种IO模型
m0_56602092的博客
04-19 448
Linux中有以下五种IO模型。一、同步阻塞IO（Blocking IO, BIO）二、同步非阻塞IO（Non-Blocking IO, NIO）三、IO多路复用 四、信号驱动 I/O 五、异步 I/O（Async IO, AIO）
【网络篇】Linux 下的五种IO模型（万字总结）
Linux驱动开发工程师，熟悉Linux/Android底层驱动、TP、显示、IIC、网络等通用外设调试适配，Linux上层应用开发，主要集中在瑞芯微和全志平台。
03-27 462
Linux下的五种IO模型：阻塞IO、非阻塞IO、IO多路复用、信号驱动IO、异步IO
Linux 5种网络IO模型
feikudai8460的博客
08-16 1753
1、支持一个进程所能打开的最大连接数select：单个进程所能打开的最大连接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是3232，同理64位机器上FD_SETSIZE为3264），当然我们可以对进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步的测试。poll：poll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的。
I/O模型
希望我的博客，能帮上你解决学习中工作中所遇到的问题
02-13 490
1 概念说明 在进行解释之前，首先要说明几个概念： 用户空间和内核空间 进程切换 进程的阻塞 文件描述符 缓存 IO 1.1 用户空间与内核空间 现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操作系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。针对linux操作系
【Linux】五种IO模型
m0_72940975的博客
08-04 414
其实，这个钓鱼场景中的各个事务都能与IO当中的相关概念对应起来，比如这里钓鱼的河对应就是内核，这里的每一个人都说进程或者线程，鱼竿对应的就是文件描述符或套接字，装鱼的桶对应的就是用户缓冲区。任何IO的过程，都包含等和拷贝这两个步骤，在实际的应用场景中“等”消耗的时间远比“拷贝”消耗的时间多，因此要让IO变得高效，就要尽可能减少“等”的时间。需要注意的是，这里问的是他们的钓鱼效率是否一样，而不是问他们整体谁做的事更多，如果说整体做事情的量的话，那一定是王五做的最多，李四次之，张三最少。
linux io模型
zhaozhenzuo的专栏
08-21 1024
netty
Ｌｉｎｕｘ的五种ＩＯ模型
zsffzb的博客
10-23 319
为了更好的理解五种IO模型，我们先来说一下几个概念：同步，异步，阻塞和非阻塞。 同步和异步 同步 　　所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，调用者会轮询查看结果。比如，调用readfrom系统调用时，必须等待IO操作完成才返回。 异步 　　异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的部件在完成后，通过状态、通知和回调来通知调用者。比如：调用aio_read系统调用时，不必等IO操作完成就直接返回，调用结果通过信号来
【JS逆向课件：第十三课：异步爬虫】
最新发布
weixin_50556117的博客
07-22 1105
现在大部分视频客户端都采用HTTP Live Streaming（HLS，Apple为了提高流播效率开发的技术），而不是直接播放MP4等视频文件。HLS技术的特点是将流媒体切分为若干【TS片段】（比如几秒一段），然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现实时流式播放。因此，在爬取HLS的流媒体文件的思路一般是先【下载M3U8文件】并分析其中内容，然后在批量下载文件中定义的【TS片段】，最后将其【组合】成mp4文件或者直接保存TS片段。
Linux IO模型
08-13
### 回答1： Linux IO 模型是指 Linux 操作系统中的 IO 处理机制。它的目的是解决多个程序同时使用 IO 设备时的资源竞争问题，以及提供一种高效的 IO 处理方式。 Linux IO 模型主要分为三种：阻塞 IO、非阻塞 IO 和 IO 多路复用。 阻塞 IO 指的是当程序进行 IO 操作时，会被挂起直到 IO 操作完成，这种方式简单易用，但是对于高并发环境不太适用。 非阻塞 IO 指的是程序进行 IO 操作时，如果无法立即完成，会立即返回一个错误码，程序可以通过循环不断地进行 IO 操作来实现轮询的效果。非阻塞 IO 可以提高程序的响应速度，但是会增加程序的复杂度。 IO 多路复用指的是程序可以同时监听多个 IO 设备，一旦有 IO 事件发生，就会立即执行相应的操作。IO 多路复用可以提高程序的效率，但是需要程序员手动编写代码来实现。 Linux IO 模型还有其他的实现方式，比如信号驱动 IO 和异步 IO 等。但是这些方式的使用比较复杂，一般不常用。 ### 回答2： Linux中的IO模型是指操作系统在处理输入输出的过程中所遵循的一种方式。它主要包括阻塞IO、非阻塞IO、多路复用IO和异步IO四种模型。 阻塞IO是最简单的IO模型，当一个IO操作发生时，应用程序会被阻塞，直到IO操作完成才能继续执行。这种模型的特点是简单直接，但是当有多个IO操作时会造成线程的阻塞，影响系统的性能。 非阻塞IO是在阻塞IO的基础上发展而来的，应用程序在发起一个IO操作后可以继续执行其他任务，不必等待IO操作的完成。但是需要通过轮询来不断地检查IO操作是否完成，效率相对较低。 多路复用IO使用select、poll、epoll等系统调用来监听多个IO事件，当某个IO事件就绪时，应用程序才会进行读写操作，避免了前两种模型的效率问题。多路复用IO模型适用于连接数较多时的场景，如服务器的网络通信。 异步IO是最高效的IO模型，应用程序发起一个IO操作后，立即可以执行其他任务，不需要等待IO操作的完成。当IO操作完成后，操作系统会通知应用程序进行后续处理。异步IO模型常用于高吞吐量、低延迟的应用，如高性能服务器和数据库等。 总之，Linux IO模型提供了多种不同的方式来处理输入输出，每种模型都有其适用的场景和特点。选择合适的IO模型可以提高系统的性能和效率。 ### 回答3： Linux IO模型是指操作系统中用于处理输入输出操作的一种方法或机制。在Linux中，常见的IO模型有阻塞IO、非阻塞IO、IO多路复用和异步IO。 阻塞IO是最基本的IO模型，当应用程序发起一个IO请求时，它将一直阻塞等待直到IO操作完成，期间无法做其他任务。虽然简单易用，但是对资源的利用不高。 非阻塞IO在发起一个IO请求后，不会阻塞等待IO操作完成，而是立即返回并继续做其他任务。应用程序需要不断地轮询IO操作状态，直到操作完成。由于需要不断轮询，对CPU的占用较高，但可以提高资源的利用率。 IO多路复用是通过一个线程同时监听多个IO事件，从而实现并发处理多个IO操作。在IO多路复用模型中，应用程序不需要进行轮询，而是通过调用select、poll或epoll等系统调用监听多个文件描述符的IO事件。这样可以在单个线程中处理多个IO操作，提高并发性能。 异步IO模型在发起一个IO请求后，应用程序不需要等待IO操作完成，而是继续做其他任务。当IO操作完成后，操作系统会通知应用程序。异步IO模型需要操作系统的支持，效率较高，但实现较为复杂。 通过选择合适的IO模型，可以根据不同的应用场景来提高IO操作的效率和性能。例如，对于需要同时处理大量连接的服务器应用，IO多路复用是一种常见的选择；而对于需要处理大量IO操作的高性能服务器，则可以考虑使用异步IO模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值