linux中select和epoll原理,Linux下select&poll&epoll的实现原理（一）

最新推荐文章于 2023-03-09 20:35:34 发布
最新推荐文章于 2023-03-09 20:35:34 发布
阅读量113 收藏
点赞数
文章标签： linux中select和epoll原理

最近简单看了一把 linux-3.10.25 kernel中select/poll/epoll这个几个IO事件检测API的实现。此处做一些记录。

其基本的原理是相同的，流程如下

先依次调用fd对应的struct file.f_op->poll()方法(如果有提供实现的话)，尝试检查每个提供待检测IO的fd是否已经有IO事件就绪

如果已经有IO事件就绪，则直接所收集到的IO事件返回，本次调用结束

如果暂时没有IO事件就绪，则根据所给定的超时参数，选择性地进入等待

如果超时参数指示不等待，则本次调用结束，无IO事件返回

如果超时参数指示等待(等待一段时间或持续等待)，则将当前select/poll/epoll的调用任务挂起

当所检测的fd任何一个有新的IO事件发生时，会将上述的处于等待的任务唤醒。任务被唤醒之后，重新执行1中的IO事件收集过程，将此时收集到的IO事件返回，本次的调用过程结束。

可以看出流程并不复杂，本文按照上述流程，先对select/poll的实现做进一步分析，epoll的实现要复杂一些，另外做叙述。

上述比较关键的地方是

1. 起初在无IO事件时，调用任务在被挂起之后，fd上有IO事件发生时，如何将挂起的任务唤醒？

接下来一poll()的实现过程，介绍这一过程的实现原理。

要实现唤醒过程，比较关键的步骤为

在上述初次调用 struct file.f_op->poll() 时，除了fd对应的 struct file 指针之外，还需要传入一个 poll_table 类型的指针。 该 poll_table 具体是在 poll() 的实现过程中定义提供的。

在各个fd的struct file.f_op->poll()方法中，需要对应调用一下poll_wait()

其中关键

struct file.f_op->poll() 方法的作用是既是直接查询fd上的IO事件

而 poll_wait() 既是实现根据需要将 poll() 的调用任务，选择性的添加到fd的IO事件等待队列中。

注意此处是“选择性的添加”，为何如此说，得看 poll_wait() 的实现，其是一个inline函数，如下

static inline void poll_wait(struct file * filp, wait_queue_head_t * wait_address, poll_table *p)

{

if (p && p->_qproc && wait_address)

p->_qproc(filp, wait_address, p);

}

定义在 include/linux/poll.h 中。

可以看出，当调用 struct file.f_op->poll() 时，poll_table 的 _qproc 成员有定义时，poll_wait() 的调用才有实际的效果。

而前面已经说了， “poll_table 具体是在 poll() 的实现过程中定义提供的”，具体是 poll_initwait(&table) 调用对 poll_table 进行初始化的。

再进一步看一下 poll_initwait() 实现，如下

void poll_initwait(struct poll_wqueues *pwq)

{

init_poll_funcptr(&pwq->pt, __pollwait);

pwq->polling_task = current;

pwq->triggered = ;

pwq->error = ;

pwq->table = NULL;

pwq->inline_index = ;

}

其中

static inline void init_poll_funcptr(poll_table *pt, poll_queue_proc qproc)

{

pt->_qproc = qproc;

pt->_key = ~0UL; /* all events enabled */

}

也就是说初次遍历 poll 给定的诸fd，直至初始收集到IO事件，都会对 __pollwait() 调用一把。

实际上也正是在 __pollwait() 中实现将 poll() 的调用任务添加到 fd 的等待队列中，并且指定了唤醒执行过程中的回调；并且初次对所有的fd调用过 struct file.f_op->poll() 之后，会将 poll_table._qproc 只为NULL，故而后续重新，调用 struct file.f_op->poll() 时不会重复的将调用线程添加到fd的等待队列两种。在 poll() 的实现中，该回调函数是 pollwake()，具体有 pollwake() 调用 kernel 的唤醒API(default_wake_function())将 poll() 的调用任务唤醒。

(由于之前具体是在 poll() 的实现中进行挂起的，所以自然唤醒过程也应该放在 poll() 的实现中了)

上面这些内容是介绍了 poll() 这一侧为等待唤醒，所做的准备工作。接下来看看，当fd上有IO时间就绪时，是如何将那些对自身等待的任务唤醒的。

此处以 eventfd 的实现为例，其实现较为简单，方便叙述。

先简单说一下 eventfd 的特性，其内部维持了一个64位的计数器。当该计数器大于0时，fd上有可读事件；当该计数器值小于 ULLONG_MAX 时，有可写实现

看其实现代码知道，其具体对该计数值更新过程发生在 eventfd_ctx_read() / eventfd_write() 中。

eventfd_ctx_read()操作之后，该内部计数器值减小，结尾如下代码中片段会对的内部 wait_queue 中记录的等待任务进行唤醒操作。

if (likely(res == )) {

eventfd_ctx_do_read(ctx, cnt);

if (waitqueue_active(&ctx->wqh))

wake_up_locked_poll(&ctx->wqh, POLLOUT);

}

而在 eventfd_write() 操作完毕后，内部计数器值增大，结尾如下代码片段会对对的内部 wait_queue 中记录的等待任务进行唤醒操作。

if (likely(res > )) {

ctx->count += ucnt;

if (waitqueue_active(&ctx->wqh))

wake_up_locked_poll(&ctx->wqh, POLLIN);

}

至此， 完整的唤醒通知过程也就介绍完成了。

select() 实现过程与 poll() 完全一致，不同的待检测的fd和结果事件的返回方式不同而已。poll() 内部是使用链表进行记录，而 select() 是使用的bit位序列进行记录的而已。

详细请看 fs/select.c 中看 poll() 和 select() 的实现代码。

epoll() 的事件检查方式与 poll() / select() 类似，一个明显的差别是各个 fd 是注册到 epoll 内部进行记录管理的，而 poll/ select 需要每次从用户态拷贝到 kernel 中，

且 epoll 内部对 fd 的记录是用rbtree，并且还有自己自己的一些独有的特点，这些内容将在另外的文章中进行描述。本文到此为止

~~ end ~~

Linux下select&poll&epoll的实现原理(一)【转】

转自:http://www.cnblogs.com/lanyuliuyun/p/5011526.html 最近简单看了一把 linux-3.10.25 kernel中select/poll/epoll ...

linux下select/poll/epoll机制的比较

select.poll.epoll简介 epoll跟select都能提供多路I/O复用的解决方案.在现在的Linux内核里有都能够支持,其中epoll是Linux所特有,而select则应该是POSI ...

linux下select,poll,epoll的使用与重点分析

好久没用I/O复用了,感觉差点儿相同都快忘完了.记得当初刚学I/O复用的时候花了好多时间.可是因为那会不太爱写博客,导致花非常多时间搞明确的东西,依旧非常easy忘记.俗话说眼过千遍不如手过一遍,的确 ...

(转)Linux下select, poll和epoll IO模型的详解

Linux下select, poll和epoll IO模型的详解 原文:http://blog.csdn.net/tianmohust/article/details/6677985 一).Epoll ...

Linux下select, poll和epoll IO模型的详解

http://blog.csdn.net/tianmohust/article/details/6677985 一).Epoll 介绍 Epoll 可是当前在 Linux 下开发大规模并发网络程序的热 ...

Linux I/O复用中select poll epoll模型的介绍及其优缺点的比較

关于I/O多路复用: I/O多路复用(又被称为"事件驱动"),首先要理解的是.操作系统为你提供了一个功能.当你的某个socket可读或者可写的时候.它能够给你一个通知.这样当配合非 ...

Linux内核中网络数据包的接收-第二部分 select/poll/epoll

和前面文章的第一部分一样,这些文字是为了帮别人或者自己理清思路的.而不是所谓的源代码分析.想分析源代码的,还是直接debug源代码最好,看不论什么文档以及书都是下策. 因此这类帮人理清思路的文章尽可能 ...

Linux IO模式以及select poll epoll详解

一 背景 同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?不同的人在不同的上下文下给出的答案是不同的.所以先限定一下本文的上下文. 本文讨论的背景是Linux环境下的network ...

转一贴，今天实在写累了，也看累了--【Python异步非阻塞IO多路复用Select/Poll/Epoll使用】

下面这篇,原理理解了, 再结合 这一周来的心得体会,整个框架就差不多了... http://www.haiyun.me/archives/1056.html 有许多封装好的异步非阻塞IO多路复用框架, ...

随机推荐

Windows Azure Virtual Network (10) 使用Azure Access Control List(ACL)设置客户端访问权限

本文介绍的是国内由世纪互联运维的China Azure. 我们在创建完Windows Azure Virtual Machi ...

[工具类]将时间转换为unix时间戳格式

写在前面 由于在数据库中存的时间有时间戳格式的数据,在解析以及保存的时候,就需要考虑到数据格式的兼容性问题.看到数据库中的时间字段基本上都是以时间戳格式存储的,没办法,只能将时间进行转换了,考虑到其他 ...

安装GeoIP数据库

1.安装GeoIP数据库 cd /usr/local/logstash/etc curl -O "http://geolite.maxmind.com/download/geoip/data ...

android的animator

3.0 以前,android支持两种动画模式,tween animation,frame animation,在android3.0中又引入了一个新的动画系统:property animation,这 ...

JAVA Useful Program(1)

public static void main(String[] args){       //字符串有整型的相互转换          String str=String.valueOf(123); ...

【Alpha】 第七次Daily Scrum Meeting

一.本次会议为第七次meeting会议 二.时间:9:37AM-9:50AM 地点:禹州三楼 三.会议站立式照片 四.今日任务 成员 昨日任务 今日任务 林清青 学习并了解微信程序相关方面知识,为小组 ...

IDEA2017.3.3创建第一个javaweb项目及tomcat部署实战

一.创建简单web项目 1. 选择jdk(这里有点小问题不是很理解,通过java -verbose查找出来的jdk路径在C盘,这里并不能识别,而我jdk安装的时候有自己的路径在D盘,导入后就是图中的j ...

linux中使用gdb调试程序

ref:https://blog.csdn.net/tenfyguo/article/details/8159176 一,什么是coredump 我们经常听到大家说到程序core掉了,需要定位解决, ...

git知识整理

概述 工作中使用git进行代码托管,一开始只知道git add commit,之后了解了git-flow插件,觉得超牛逼,一键生成feature分支,再后来听说原生git命令更好用,于是又去学了原生g ...

weixin_39720662
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
epoll、poll、select的原理和区别
wwwvipp的博客
08-24 5万+
一、什么是epoll？ epoll是一种I/O事件通知机制，是linux 内核实现IO多路复用的一个实现。IO多路复用是指，在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作。 epoll有两种工作方式，ET-水平触发 和 LT-边缘触发(默认工作方式),主要区别是： LT，内核通知你fd是否就绪，如果没有处理，则会持续通知。而ET，内核只通知一次。 二、epoll的三个函数 int epoll_create(int size) size参数告诉内核这
NIO多路复用底层原理(Select、Poll、EPoll)
qq_41563912的博客
09-06 4779
NIO一、NIO概述1. BIO2. NIO二、文件描述符三、Select、Poll、EPoll1. Select2. Poll模型3. EPoll模型四、总结1. 大致过程如下: 一、NIO概述 1. BIO         BIO，即Blockig IO，阻塞IO，一个线程对应一个连接，如果你的服务器有很多用户，每个用户都需要与你的服务器建立一个连接，那么你有多少用户，你的服务器就得创建多少个线程，显然是不显示的，而且每个线
I/O多路复用 - select、poll、epoll讲解（epoll工作图解介绍+红黑树）
m0_51429770的博客
03-07 2322
epoll的实现机制与select/poll机制完全不同。epoll是Linux内核为处理大批量文件描述符而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。
详解IO多路复用机制——select、poll、epoll的原理和区别
程序猿周周的博客
05-03 1万+
🌟 前言 🐶 大家好，我是周周，目前就职于国内短视频小厂BUG攻城狮一枚。 🤺 如果文章对你有帮助，记得关注、点赞、收藏，一键三连哦，你的支持将成为我最大的动力。 文章目录🌟 前言🍑 1 概述🍑 2 select🍑 3 poll🍑 4 epoll🍉 4.1 函数定义🍉 4.2 工作模式🍉 4.3 为何高效🍑 5 总结🍉 5.1 三种机制的区别🍉 5.2 epoll 优点 🍑 1 概述 select、poll 以及 epoll 是 Linux 系统的三个系统调用，也是 IO 多路复用模型的具体实现。 由前文
Linux IO模式及 select、poll、epoll详解
m0_74282605的博客
03-09 472
在 Linux 的缓存 I/O 机制中，操作系统会将 I/O 的数据缓存在文件系统的页缓存（ page cache ）中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。
linux内核select/poll，epoll实现与区别
12-31
epoll在内核版本2.6以上才出现的新的函数，而他们在linux内核中的实现都是十分相似。 这三种函数都需要设备驱动提供poll回调函数，对于套接字而言，他们是 tcp_poll，udp_poll和datagram_poll; 对于自己开发的设备...
LinuxIO模式及select、poll、epoll详解
02-01
看到这篇文章说明你已经从老版本升级到 Ubuntu16.04或进行了全新安装，在安装好Ubuntu16.04LTS之后建议大家先做如下 15件事。无论你是刚加入Ubuntu...不同的人在不同的上下文下给出的答案是不同的。所以先限定一下本
linux中 epoll poll 和select的区别
11-30
linux中 epoll poll 和select的区别
linux---select,poll,epoll的原理以及优缺点
boke_fengwei
07-12 832
多路转接IO（也叫IO多路复用）是一种处理高并发的IO事件监控，同时对大量的描述符进行时间监控，监控是否具备IO条件。 就绪：包括了读就绪事件（就是有数据到来的时候），写就绪事件（缓冲区有空闲的空间），异常事件（发生异常）。对于服务器来说，很多时候我们都是监控的读事件，对于写事件和异常事件都只会在特定的情况下使用。 select select模型：通过对几个事件集合中的描述符进行事件监控，当集合...
面试总结之select和epoll
Yates Law的博客
08-21 3137
前言是否用过 select、epoll，什么是IO多路复用，epoll 水平触发和边缘触发。解答IO多路复用IO多路复用是进程一种预先告知内核的能力，使得内核一旦发现进程指定的一个或多个IO条件就绪，它就通知进程。IO复用应用的场合：（1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。（2）当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。（3）如果一个T
linux下select, poll和epoll IO模型的详解
tianmo2010的专栏
08-11 2万+
一、epoll 介绍 epoll 可是当前在 Linux 下开发大规模并发网络程序的热门人选， epoll 在 Linux2.6 内核中正式引入，和 select 相似，其实都 I/O 多路复用技术而已 ，并没有什么神秘的。其实在linux 下设计并发网络程序，向来不缺少方法，比如典型的 Apache 模型（ Process Per Connection ，简称 PPC ）， TPC （ Thr...
IO多路复用器 select, epoll发展历程，工作原理，区别
55555的博客
06-28 594
什么是IO多路复用器 首先这里的IO指的是网络IO，也就是网络连接，如果把一个IO想象成一条路，这些路是连接到内核的，就程序自身而言它是不知道这些路上有没有数据到达的。 为了知道这一点，程序就得遍历每一条路，并且这个遍历还要基于用户态内核态的切换才能实现，因此便利的成本是比较高的。 如果有一种方法，能够实现一次遍历进程就能知道它关注的路有没有数据到达，那就能很大程度上节约资源提高性能了，多路复用器就是用来实现这个的。也就是多路复用器可以让单个进程监控多个连接，一旦某一个连接有数据来了，就能够通知程序进
select、poll、epoll的底层原理剖析
lt_xiaodou的博客
10-05 892
/ 定义位于/sys/select.h文件中复制代码nfds ：表示 FDS 中有效的 FD 数量，全部文件描述符的最大值 +1。readfds ：表示需要监控读事件发生的文件描述符集合。writefds ：表示需要监控写事件发生的文件描述符集合。exceptfds ：表示需要监控异常/错误发生的文件描述符集合。timeout ：表示 select 在没有事件触发的情况下，会阻塞的时间。
select、poll、epoll的原理与区别
热门推荐
nanxiaotao的博客
05-27 5万+
1、select 同步多路IO复用 时间复杂度:O(n) fd_set(监听的端口个数)：32位机默认是1024个，64位机默认是2048。 缺点： （1）单进程可以打开fd有限制； （2）对socket进行扫描时是线性扫描，即采用轮询的方法，效率较低； （2）用户空间和内核空间的复制非常消耗资源； 2、po...
Linux I/O 多路复用之select、poll、epoll详解与代码示例
彼此当年少，莫负好时光
06-27 2094
如果写过最基础的TCP服务，那就应该清楚 accept 和 recv 函数是阻塞式的（默认），也就是说程序就卡在这个地方等待，直到有连接或者数据来到。如果不用多线程的话，一旦有数据到来就会一直处理这个连接的数据，而没法接收新的连接。其实操作系统可以在一个线程里轮询式处理这些事务，也就是常说的I/O多路复用。 select，poll，epoll 都是I/O多路复用的机制。I/O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。s
linux epoll原理详解,Linux下select&poll&epoll的实现原理（一）【转】
weixin_39753213的博客
05-13 60
最近简单看了一把 linux-3.10.25 kernel中select/poll/epoll这个几个IO事件检测API的实现。此处做一些记录。其基本的原理是相同的，流程如下先依次调用fd对应的struct file.f_op->poll()方法(如果有提供实现的话)，尝试检查每个提供待检测IO的fd是否已经有IO事件就绪如果已经有IO事件就绪，则直接所收集到的IO事件返回，本次调用结束如果...
selectpollepoll原理和区别
最新发布
09-02
- *1* *2* [epoll、poll、select的原理和区别](https://blog.csdn.net/wwwvipp/article/details/119888373)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值