IO多路复用：select、poll、epoll

最新推荐文章于 2022-05-20 21:18:31 发布

丁大勺

最新推荐文章于 2022-05-20 21:18:31 发布

阅读量197

点赞数

分类专栏：操作系统文章标签：操作系统

原文链接：https://www.jianshu.com/p/dfd940e7fca2

版权

操作系统专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、简介

IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合：

   1. 当客户处理多个描述符时（一般是交互式输入和网络套接口），必须使用I/O复用。

   2.  当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。

   3. 如果一个TCP服务器既要处理监听套接口，又要处理已连接套接口，一般也要用到I/O复用。

   4.  如果一个服务器即要处理TCP，又要处理UDP，一般要使用I/O复用。

   5. 如果一个服务器要处理多个服务或多个协议，一般要使用I/O复用。

I/O多路复用就是一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。select，pselect，poll，epoll本质上都是同步I/O，因为他们都需要自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，由操作系统完成，异步I/O的实现会负责把数据从内核拷贝到用户空间。

与多线程技术相比，I/O多路复用技术的最大优势是系统开销小，系统不必创建进程/线程，也不必维护这些进程/线程，从而大大减小了系统的开销。

二、select、poll、epoll

epoll跟select都能提供多路I/O复用的解决方案。在现在的Linux内核里有都能够支持，其中epoll是Linux所特有，而select则应该是POSIX所规定，一般操作系统均有实现。

2.1 select模型

基本原理：
select 函数监视的文件描述符分3类，分别是writefds(可读)、readfds（可写）、和exceptfds（异常）。调用select函数会阻塞，直到有描述符就绪（可读、可写、或异常）或者超时，此时函数返回。当select函数返回后，说明有描述符就绪，可以通过遍历fdset，来找到就绪的描述符。

基本流程：
在这里插入图片描述
select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点。缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，可以通过修改宏定义甚至重新编译内核的方式提升这一限制，但是这样也会造成效率的降低。

select本质上是通过检查存放fd标志位的数据结构来进行下一步处理。这样所带来的缺点是：

select最大的缺陷就是单个进程所打开的FD是有一定限制的，它由FD_SETSIZE设置，默认值是1024。一般来说这个数目和系统内存关系很大，具体数目可以cat /proc/sys/fs/file-max察看。32位机默认是1024个。64位机默认是2048.
对socket进行扫描时是线性扫描，即采用轮询的方法，效率较低。当套接字比较多的时候，每次select()都要通过遍历所有Socket来完成调度，不管哪个Socket是活跃的，都遍历一遍。这会浪费很多CPU时间。如果能给套接字注册某个回调函数，当他们活跃时，自动完成相关操作，那就避免了轮询，这正是epoll与kqueue做的。
需要维护一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大。

2.2 poll模型

基本原理：
poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。

它没有最大连接数的限制，原因是它是基于链表来存储的，但是同样存在缺点：

大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义。
poll还有一个特点是“水平触发”，也就是如果报告了fd后没有被处理，那么下次poll时会再次报告该fd。

从上面看，select和poll都需要通过遍历文件描述符来获取已经就绪的socket。事实上，连接的大量客户端在同一时刻可能只有很少部分处于就绪状态，因此随着监视的描述符数量的增长，其效率也会线性下降。

2.3 epoll模型

epoll是在2.6内核中提出的，是之前的select和poll的增强版本。相对于select和poll来说，epoll更加灵活，没有描述符限制。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的copy只需一次。

基本原理：
epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就绪态，并且只会通知一次。还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll_ctl（事件注册函数）注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait函数便可以收到通知，该函数返回需要处理的事件数目，如返回0表示已超时。

epoll的优点：

几乎没有最大并发连接的限制，能打开的FD的上限远大于1024（1G的内存上能监听约10万个端口）。
效率提升。没有采用轮询的方式，不会随着FD数目的增加效率下降。只有活跃可用的FD才会调用callback函数；即epoll最大的优点就在于它只关心“活跃”的连接，而跟连接总数无关，因此在实际的网络环境中，epoll的效率就会远远高于select和poll。
内存拷贝。利用mmap()文件映射内存加速与内核空间的消息传递；即epoll使用mmap减少复制开销。

epoll对文件描述符的操作有两种模式：LT（level trigger，水平触发） 和ET（edge trigger，边缘触发）。LT模式是默认模式，LT模式与ET模式的区别如下：

LT模式：当epoll_wait检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用epoll_wait时，会再次响应应用程序并通知此事件。
ET模式：当epoll_wait检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用epoll_wait时，不会再次通知此事件。这就使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。

在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描。而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦某个文件描述符就绪，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。(此处去掉了遍历文件描述符，而是通过监听回调的的机制。这正是epoll的魅力所在。)

注意：
如果没有大量的idle-connection或者dead-connection，epoll的效率并不会比select/poll高很多，但是当遇到大量的idle-connection，就会发现epoll的效率大大高于select/poll。

2.4 三种模型对比

	select	poll	epoll
最大连接数	单个进程所能打开的最大连接数由 FD_SETSIZE宏定义，其值为整数位数的32倍（32位机器中即为3232；64位机器中即为6432）。我们可以对其进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步测试。	poll本质上和select没什么区别，但是它没有最大连接限制，原因是它基于链表来存储	虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万连接。
文件描述符剧增后带来的IO效率问题	每次调用时都会对所有连接进行遍历，所以随着FD的增加会造成遍历速度下降。	同select	epoll模型在内核中的实现是根据每个FD上的callback函数来实现，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的性能下降问题，但是所有socket都很活跃的情况下可能会有性能问题。
消息传递方式	内核需要将消息传递到用户空间，都需要内核拷贝动作	同select	epoll是通过内核和用户空间共享同一内存实现