【Linux Server】五、I/O 多路复用

五、I/O 多路复用

1.I/O 多路复用使得程序能同时监听多个文件描述符，能够提高程序的性能，Linux 下实现 I/O 多路复用的系统调用主要有 select、poll 和 epoll。

2.select

• 主旨思想：
  • 首先要构造一个关于文件描述符的列表，将要监听的文件描述符添加到该列表中。
  • 调用一个系统函数，监听该列表中的文件描述符，直到这些描述符中的一个或者多个进行I/O操作时，该函数才返回。
    -这个函数是阻塞
    -函数对文件描述符的检测的操作是由内核完成的
  • 在返回时，它会告诉进程有多少描述符要进行I/O操作。(不会告诉你是哪几个,需要你去遍历)

// sizeof(fd_set) = 128 ，也就是1024位
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
    - nfds : 委托内核检测的最大文件描述符的值 + 1
    - readfds : 要检测的文件描述符的读的集合，委托内核检测哪些文件描述符的读的属性
        -一般检测读操作
        -对应的是对方发送过来的数据，因为读是被动的接收数据，检测的就是读缓冲区
        -是一个传入传出参数
    - writefds : 要检测的文件描述符的写的集合，委托内核检测哪些文件描述符的写的属性
        -委托内核检测写缓冲区是不是还可以写数据（不满的就可以写）
    - exceptfds : 检测发生异常的文件描述符的集合
    - timeout : 设置的超时时间
        struct timeval {
            long tv_sec;    /* seconds */
            long tv_usec;   /* microseconds */
        };
        -NULL : 永久阻塞，直到检测到了文件描述符有变化
        -tv_sec = 0 && tv_usec = 0， 不阻塞
        -tv_sec > 0    tv_usec > 0， 阻塞对应的时间
    - 返回值 :
        -1 : 失败
        >0(n) : 检测的集合中有n个文件描述符发生了变化

// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);

// 判断fd对应的标志位是0还是1， 返回值 ： fd对应的标志位的值，0，返回0； 1，返回1
int FD_ISSET(int fd, fd_set *set);

// 将参数文件描述符fd 对应的标志位，设置为1
void FD_SET(int fd, fd_set *set);

// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);

• select的缺点：
  • 每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大。
  • 同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大。
  • select支持的文件描述符数量太小了，默认是1024。(poll改进这个缺点)
  • fds集合不能重用，每次都需要重置。(poll改进这个缺点)

3.poll

#include <poll.h>
struct pollfd {
    int fd;         /* 委托内核检测的文件描述符 */
    short events;   /* 委托内核检测文件描述符的什么事件 */
    short revents;  /* 文件描述符实际发生的事件 */
};

struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT;     // 同时检测读写

int poll(struct pollfd *fds, nfds_t nfds, int timeout);
    - fds : 是一个struct pollfd 结构体数组，这是一个需要检测的文件描述符的集合
    - nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1
    - timeout : 阻塞时长
        0 : 不阻塞
        -1 : 阻塞，当检测到需要检测的文件描述符有变化，解除阻塞
        >0 : 阻塞的时长，单位ms
    - 返回值：
        -1 : 失败
        >0（n） : 成功，n表示检测到集合中有n个文件描述符发生变化

4.epoll

#include <sys/epoll.h>

// 创建一个新的epoll实例。在内核中创建了一个数据，这个数据中有两个比较重要的数据，一个是需要检测的文件描述符的信息（红黑树），还有一个是就绪列表，存放检测到数据发送改变的文件描述符信息（双向链表）。
int epoll_create(int size);
    - size : Linux 2.6.8之后，这个值没有意义了。随便写一个数即可，但必须大于0
    - 返回值：
        -1 : 失败
        >0 : 文件描述符，用来操作epoll实例的
    - 程序最后使用close(epfd)进行关闭

typedef union epoll_data {  // 是个union
    void *ptr;
    int fd;
    uint32_t u32;
    uint64_t u64;
} epoll_data_t;

struct epoll_event {
    uint32_t events;    /* Epoll events */
    epoll_data_t data;  /* User data variable */
};

常见的Epoll检测事件：
- EPOLLIN
- EPOLLOUT
- EPOLLERR

// 对epoll实例进行管理：添加文件描述符信息，删除信息，修改信息
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
    - epfd : epoll实例对应的文件描述符
    - op : 要进行什么操作
        EPOLL_CTL_ADD: 添加
        EPOLL_CTL_MOD: 修改
        EPOLL_CTL_DEL: 删除
    - fd : 要检测的文件描述符
    - event : 检测文件描述符什么事情

// 检测函数
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
    - epfd : epoll实例对应的文件描述符
    - events : 传出参数，保存了发生了变化的文件描述符的信息
    - maxevents : 第二个参数结构体数组的大小
    - timeout : 阻塞时间
        0 : 不阻塞
        -1 : 阻塞，直到检测到fd数据发生变化，解除阻塞
        >0 : 阻塞的时长（毫秒）
    - 返回值：
        -成功，返回发送变化的文件描述符的个数，即 > 0
        -失败 -1

5.Epoll 的工作模式

• LT 模式 （水平触发、默认工作模式）

  • 假设委托内核检测读事件 -> 检测fd的读缓冲区
    读缓冲区有数据 - > epoll检测到了会给用户通知
    • 用户不读数据，数据一直在缓冲区，epoll 会一直通知
    • 用户只读了一部分数据，epoll会通知
    • 缓冲区的数据读完了，不通知
  • LT（level - triggered）是缺省的工作方式，并且同时支持 block 和 no-block socket。在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的 fd 进行 IO 操作。如果你不作任何操作，内核还是会继续通知你的。

• ET 模式（边沿触发）

  • 假设委托内核检测读事件 -> 检测fd的读缓冲区
    读缓冲区有数据 - > epoll检测到了会给用户通知
    • 用户不读数据，数据一致在缓冲区中，epoll下次检测的时候就不通知了
    • 用户只读了一部分数据，epoll不通知
    • 缓冲区的数据读完了，不通知
  • ET（edge - triggered）是高速工作方式，只支持 no-block socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了。但是请注意，如果一直不对这个 fd 作 IO 操作（从而导致它再次变成未就绪），内核不会发送更多的通知（only once）。
  • ET 模式在很大程度上减少了 epoll 事件被重复触发的次数，因此效率要比 LT 模式高。
  • epoll工作在 ET 模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。

struct epoll_event {
    uint32_t events; /* Epoll events */
    epoll_data_t data; /* User data variable */
};

Epoll ET事件：
- EPOLLET

6.select、poll和epoll的区别

系统调用	select	poll	epoll
事件集合	用户通过3个参数分别传入感兴趣的可读、可写及异常等事件，内核通过对这些参数的在线修改来反馈其中的就绪事件。这使得用户每次调用select都要重置这3个参数	统一处理所有事件类型，因此只需一个事件集参数。用户通过pollfd.events传入感兴趣的事件，内核通过修改pollfd.revents反馈其中就绪的事件	内核通过一个事件表直接管理用户感兴趣的所有事件。因此每次调用epoll_wait时，无须反复传入用户感兴趣的事件。epoll_wait系统调用的参数events仅用来反馈就绪的事件
应用程序索引就绪文件描述符的时间复杂度	O(n)	O(n)	O(1)
最大支持文件描述符数	一般有最大值限制	65535	65535
工作模式	LT	LT	支持ET高效模式
内核时间和工作效率	采用轮询方式来检测就绪事件，算法时间复杂度为O(n)	采用轮询方式来检测就绪事件，算法时间复杂度为O(n)	采用回调方式来检测就绪事件，算法时间复杂度为O(1)

7.IO复用的应用之一：非阻塞connect

connect出错时的一种errno值：EINPROGRESS。这种错误发生在对非阻塞的socket调用connect，而连接又没有立即建立时。这种情况下，我们可以调用select、poll等函数来监听这个连接失败的socket上的可写事件。当select、poll等函数返回后，再利用getsockopt来读取错误码并清除该socket上的错误。如果错误码为0，表示连接成功建立，否则连接失败。