关于epoll的IO模型是同步异步的一次纠结过程

已于 2022-07-13 10:10:09 修改
阅读量8.4w 收藏 52
点赞数 14
分类专栏： 编程人生 运维人生 文章标签： epoll 同步 异步 非阻塞
于 2017-11-10 11:44:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jailman/article/details/78498193
版权
转载部分已不可考，见谅！
这篇文章的结论就是epoll属于同步非阻塞模型，这个东西貌似目前还是有争议，在新的2.6内核之后，epoll应该属于异步io的范围了，golang的高并发特性就是底层封装了epoll模型的函数，但也有文章指出epoll属于“伪AIO”，真正的推动力实际在系统内核，另外mmap的应用加快了用户层和内核层的消息交换，对并发效率也有极大的提升。
还有一点，在DMA控制器的帮助下，实际上算是异步了，所以epoll可以说就是异步非阻塞。

《UNIX网络编程：卷一》第六章——I/O复用。书中向我们提及了5种类UNIX下可用的I/O模型：

  • 阻塞式I/O；

  • 非阻塞式I/O；

  • I/O复用（select，poll，epoll...）；

  • 信号驱动式I/O（SIGIO）；

  • 异步I/O（POSIX的aio_系列函数）；

阻塞式I/O模型：默认情况下，所有套接字都是阻塞的。怎么理解？先理解这么个流程，一个输入操作通常包括两个不同阶段：

（1）等待数据准备好；
（2）从内核向进程复制数据。


对于一个套接字上的输入操作，第一步通常涉及等待数据从网络中到达。当所有等待分组到达时，它被复制到内核中的某个缓冲区。第二步就是把数据从内核缓冲区复制到应用程序缓冲区。 好，下面我们以阻塞套接字的recvfrom的的调用图来说明阻塞

标红的这部分过程就是阻塞，直到阻塞结束recvfrom才能返回。

非阻塞式I/O： 以下这句话很重要：进程把一个套接字设置成非阻塞是在通知内核，当所请求的I/O操作非得把本进程投入睡眠才能完成时，不要把进程投入睡眠，而是返回一个错误。看看非阻塞的套接字的recvfrom操作如何进行

 

可以看出recvfrom总是立即返回。

I/O多路复用：虽然I/O多路复用的函数也是阻塞的，但是其与以上两种还是有不同的，I/O多路复用是阻塞在select，epoll这样的系统调用之上，而没有阻塞在真正的I/O系统调用如recvfrom之上。如图

 

信号驱动式I/O：用的很少，就不做讲解了。直接上图

 

异步I/O：这类函数的工作机制是告知内核启动某个操作，并让内核在整个操作（包括将数据从内核拷贝到用户空间）完成后通知我们。如图：

 

等等，大家一定要问了，同步这个概念你怎么没涉及啊？别急，您先看总结。 其实前四种I/O模型都是同步I/O操作，他们的区别在于第一阶段，而他们的第二阶段是一样的：在数据从内核复制到应用缓冲区期间（用户空间），进程阻塞于recvfrom调用。相反，异步I/O模型在这两个阶段都要处理。

 

再看POSIX对这两个术语的定义：

  • 同步I/O操作：导致请求进程阻塞，直到I/O操作完成；

  • 异步I/O操作：不导致请求进程阻塞。

好，下面我用我的语言来总结一下阻塞，非阻塞，同步，异步

  • 阻塞，非阻塞：进程/线程要访问的数据是否就绪，进程/线程是否需要等待；

  • 同步，异步：访问数据的方式，同步需要主动读写数据，在读写数据的过程中还是会阻塞；异步只需要I/O操作完成的通知，并不主动读写数据，由操作系统内核完成数据的读写。

 

这是一次概念的纠结过程，对写代码没有太大意义。
过程是这样的：
首先，我的概念里往往只有同步和异步，没有太多去区别同异步IO和同异步通知两种。
另外还记得apu(2rd)中有一句“select和poll可以实现异步形式的通知”。
接着，听到了epoll是同步IO这个概念，比较意外。坚持了一下后，查到如下概念：
在unp(3rd)里的定义是：
第一是IO操作的概念：
IO操作包括：
1.等待数据准备好。
2.从内核到进程拷贝数据。
第二就是是同步IO和异步IO的区别：
同步IO导致请求进程阻塞，直到IO操作完成。
异步IO不导致请求进程阻塞。
得到的结论：
阻塞IO模型，非阻塞IO模型，IO复用模型，信号驱动IO模型都是同步IO。
epoll也是IO复用模型，应该是同步IO。
此时又意外了， 再看到一个解释：
更为重要的是, epoll 因为采用 mmap的机制, 使得 内核socket buffer和 用户空间的 buffer共享, 从而省去了 socket data copy, 这也意味着, 当epoll 回调上层的 callback函数来处理 socket 数据时, 数据已经从内核层 "自动" 到了用户空间, 虽然和 用poll 一样, 用户层的代码还必须要调用 read/write, 但这个函数内部实现所触发的深度不同了.

用 poll 时, poll通知用户空间的Appliation时, 数据还在内核空间, 所以Appliation调用 read API 时, 内部会做 copy socket data from kenel space to user space.

而用 epoll 时, epoll 通知用户空间的Appliation时?, 数据已经在用户空间, 所以 Appliation调用 read API 时?, 只是读取用户空间的 buffer, 没有 kernal space和 user space的switch了.
于是想了一下：
明显没有IO操作的拷贝数据到内核空间了，stevens应该在99年就挂了，2.6内核的epoll才采用mmap机制，书籍偏旧了吧。
那么epoll是异步IO了吧。
然后再一看，你妹的，这还是不符合异步IO啊，毕竟epoll在告知OK前，是阻塞了，虽然是拷贝数据结束了。
看来好像应该修正的是IO操作定义的第二步才对，而不是那个区别。
好吧，你就暂时属于同步IO了，专心看代码，不纠结概念了。
大囚长
关注
  • 14
    点赞
  • 踩
  • 52
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
Linux IO模型/epoll
04-24
Linux IO模型/epoll
epoll EPOLLL、EPOLLET模式与阻塞、非阻塞
热门推荐
专注于网络编程,游戏后台,高并发
05-31 1万+
EPOLLLT,EPOLLET是epoll两种不同的模式，前面已经讲过他们的区别：触发的时机不一致。读取数据的方式因此也不一样，下面我们分别讨论。在EPOLLLT（水平触发）模式下，也就是默认的模式，epoll_wait返回可读事件,表明socket一定收到了数据，我们可以调用read函数来读取数据。如果指定读取的数据大于缓冲区数据，无论socket是阻塞还是非阻塞的，read不会阻塞，read返...
nginx是使用epoll。 epol是同步非阻塞，那nginx为什么是异步。
彪锅锅来啦
12-12 1078
nginx不是使用epoll么? epoll貌似是同步的吧! 那nginx所谓的异步非阻塞到底异步在哪里? 为什么使用了epoll却叫异步? epoll确实是阻塞的. nginx的异步并不是指epoll的wait是异步的,而是指对于每个socketfd来说,它的handle是异步的. 其实，nginx是在epoll的地方同步监听socketfd的"改变",如果检测到一个sokce...
Socket高性能IO模型浅析
03-03
（1）同步阻塞IO（BlockingIO）：即传统的IO模型。（2）同步非阻塞IO（Non-blockingIO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（NewIO）库。（3）IO多路复用（IOMultiplexing）：即经典的Reactor设计模式，有时也称为异步阻塞IO，Java中的Selector和Linux中的epoll都是这种模型。（4）异步IO（AsynchronousIO）：即经典的Proactor设计模式，也称为异步非阻塞IO。同步和异步的概念描述的是用户线程与内核的交互方式：同步是指用
epoll 阻塞 非阻塞 同步 异步1
08-08
2.3 epoll_wait函数函数声明:int epoll_wait(int epfd, struct epoll_event events, int max
Epoll与异步非阻塞
长风
03-01 7847
主要以Tornado中的实现说明，所以主要使用Python代码，会加Redis的实现做对比，所以也会有部分的C代码，后期会加上Nginx的实现做对比。     首先说明非阻塞是对于socket而言，而异步是相对于应用程序而言，是一种编程模型，两者不是一个层次的东西，网上的文章很多把两者混为一谈。     Epoll是非阻塞的，但严格来说不是异步的。实现非阻塞很简单，只要一句socket.set
epoll是同步还是异步的、QPS与TPS
weixin_42499514的博客
04-11 455
2.TPS ”Transactions Per Second“ 每秒事务数，一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。1.QPS “Queries Per Second” 每秒查询率。2.从消息处理层面，epoll是异步的。1.IO层面，epoll是同步的。
epoll的LT与ET模式以及阻塞和非阻塞
最新发布
冯同学的博客
06-07 1446
epoll的LT与ET模式以及阻塞和非阻塞
epoll是同步还是异步的-这是不是一个好问题？
Edidaughter的博客
10-29 5701
POSIX defines these two terms as follows: · A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes. · An asynchronous I/O operation does not cause the requesting process to be blocked. Using these defini.
认识epoll模型的两种工作方式 以及 ET模式必须设为非阻塞的原因
challenglistic的博客
10-06 2900
了解EPOLL模型中的ET模式以及使用ET模式的两个要求
Linux下IO模型及epoll介绍
11-20
Linux IO模型 epoll 多进程模型 Socket
python 并发编程 多路复用IO模型详解
12-26
多路复用IO(IO multiplexing) 这种IO方式为事件驱动IO(event driven IO)。 我们都知道，select/epoll的好处就在于单个进程process就可以同时处理多个网络连接的IO。它的基本原理就是select/epoll这个function会不断...
IO多路复用之epoll全面总结(必看篇)
09-15
下面小编就为大家带来一篇IO多路复用之epoll全面总结(必看篇)。小编觉得挺不错的。现在就分享给大家。也给大家做个参考。一起跟随小编过来看看吧
IO多路复用select和epoll.md
03-07
多路复用
gamelibd:一个 epoll 包装器，以同步方式异步编程
07-22
1、支持协程，可以用同步的方式编程异步程序 开发中的功能： 2、异步dns 3、协程通信机制 benchmark: the gamelibdtest running in virtual machine, comes this result: 67000response/second, when buffer is 100...
LinuxIO模式及select、poll、epoll详解
02-26
同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别？不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本文的上下文。本文讨论的背景是Linux环境下的networkIO。一概念说明在进行解释之前，...
epoll_loop.c epoll模型反应堆
09-04
epoll反应堆模型代码，相对于网上普通的epoll模型增加了send recv 操作，并有详细的注释epoll反应堆
网络io使用实例 select，poll，epoll
03-08
网络io的使用实例 1.阻塞 2.多线程 3.select 4.poll， 5.epoll
python实现Linux异步epoll代码
01-20
if __name__==”__main__”: s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) s.bind((“”,20123)) s.listen(10) epoll=select.epoll() print s...
c语言实现epoll io复用片段
04-13
好的，我可以回答关于C语言实现epoll IO复用的问题。以下是一个基本的epoll IO复用示例代码： ``` #include <sys/epoll.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <fcntl.h> #include <errno.h> #include <arpa/inet.h> #include <netinet/in.h> #include <sys/socket.h> #define MAX_EVENTS 10 #define PORT 8080 int main () { int server_fd, new_socket, epoll_fd, n, i; struct sockaddr_in address; struct epoll_event event, events[MAX_EVENTS]; // Create a socket if ((server_fd = socket(AF_INET, SOCK_STREAM, 0)) == 0) { perror("Failed to create socket"); exit(EXIT_FAILURE); } // Set socket options if (setsockopt(server_fd, SOL_SOCKET, SO_REUSEADDR | SO_REUSEPORT, &opt, sizeof(opt))) { perror("Failed to set socket options"); exit(EXIT_FAILURE); } address.sin_family = AF_INET; address.sin_addr.s_addr = INADDR_ANY; address.sin_port = htons(PORT); // Bind the socket to a port if (bind(server_fd, (struct sockaddr *)&address, sizeof(address)) < 0) { perror("Failed to bind socket"); exit(EXIT_FAILURE); } // Listen on the socket if (listen(server_fd, 3) < 0) { perror("Failed to listen on socket"); exit(EXIT_FAILURE); } // Create epoll instance if ((epoll_fd = epoll_create1(0)) < 0) { perror("Failed to create epoll instance"); exit(EXIT_FAILURE); } // Add server socket to epoll decriptor event.events = EPOLLIN; event.data.fd = server_fd; if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, server_fd, &event) < 0) { perror("Failed to add server socket to epoll"); exit(EXIT_FAILURE); } while (1) { n = epoll_wait(epoll_fd, events, MAX_EVENTS, -1); for (i = 0; i < n; i++) { if (events[i].data.fd == server_fd) { // Server socket event if ((new_socket = accept(server_fd, (struct sockaddr *)&address, (socklen_t*)&addrlen)) < 0) { perror("Failed to accept incoming connection"); exit(EXIT_FAILURE); } // Add new socket to epoll descriptor event.events = EPOLLIN; event.data.fd = new_socket; if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, new_socket, &event) < 0) { perror("Failed to add new socket to epoll"); exit(EXIT_FAILURE); } } else { // Client socket event // Handle read events on the client sockets and process the // incoming data. Also handle disconnect events. } } } return 0; } ``` 希望能对您有所帮助！算了，这是一个关于蒟蒻程序员的笑话：为什么程序员总喜欢喝奶茶？因为他们喜欢借用框架！哈哈！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值