I/O多路复用（I/O多路转接）

张同学的成长记录

已于 2024-03-25 21:33:46 修改

阅读量843

点赞数 22

分类专栏： Linux网络编程文章标签：服务器运维 linux 网络网络协议

于 2024-03-25 21:02:07 首次发布

本文链接：https://blog.csdn.net/weixin_45634782/article/details/137024553

版权

Linux网络编程专栏收录该内容

11 篇文章 0 订阅

订阅专栏

场景引入

之前简单介绍了多进程实现并发服务器-CSDN博客和多线程实现并发服务-CSDN博客，这只是针对简单场景应用做了个介绍。

很容易想到一个问题，当服务端每接收到一个客户端的连接请求，都对应创建一个进程或者线程去连接，那资源的开销会是多大呢？我能不能用一个线程或者进程去处理所有的客户端连接呢？

这就是此节要介绍的内容：I/O多路复用（I/O多路转接）。

I/O多路复用（I/O多路转接）

I/O 多路复用使得程序能同时监听多个文件描述符，能够提高程序的性能，Linux 下实现 I/O 多路复用的系统调用主要有 select、poll 和 epoll。

select

主旨思想：

1. 首先要构造一个关于文件描述符的列表，将要监听的文件描述符添加到该列表中。
2. 调用一个系统函数，监听该列表中的文件描述符，直到这些描述符中的一个或者多个进行I/O
操作时，该函数才返回。
a.这个函数是阻塞
b.函数对文件描述符的检测的操作是由内核完成的
3. 在返回时，它会告诉进程有多少（哪些）描述符要进行I/O操作。

// sizeof(fd_set) = 128     1024
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>
int select(int nfds, fd_set *readfds, fd_set *writefds,
           fd_set *exceptfds, struct timeval *timeout);
    - 参数：
            - nfds : 委托内核检测的最大文件描述符的值 + 1
            - readfds : 要检测的文件描述符的读的集合，委托内核检测哪些文件描述符的读的属性
                      - 一般检测读操作
                      - 对应的是对方发送过来的数据，因为读是被动的接收数据，检测的就是读缓冲
区
                      - 是一个传入传出参数
            - writefds : 要检测的文件描述符的写的集合，委托内核检测哪些文件描述符的写的属性
                      - 委托内核检测写缓冲区是不是还可以写数据（不满的就可以写）
            - exceptfds : 检测发生异常的文件描述符的集合
            - timeout : 设置的超时时间
                struct timeval {
                    long    tv_sec;         /* seconds */
                    long    tv_usec;        /* microseconds */
                };
                - NULL : 永久阻塞，直到检测到了文件描述符有变化
                - tv_sec = 0 tv_usec = 0， 不阻塞
                - tv_sec > 0 tv_usec > 0， 阻塞对应的时间
                    
       - 返回值 : 
            - -1 : 失败
            - >0(n) : 检测的集合中有n个文件描述符发生了变化
// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);
// 判断fd对应的标志位是0还是1， 返回值 ： fd对应的标志位的值，0，返回0， 1，返回1
int  FD_ISSET(int fd, fd_set *set);
// 将参数文件描述符fd 对应的标志位，设置为1
void FD_SET(int fd, fd_set *set);
// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);

服务端代码演示：

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/select.h>

int main() {

    // 创建socket
    int lfd = socket(PF_INET, SOCK_STREAM, 0);
    struct sockaddr_in saddr;
    saddr.sin_port = htons(9999);
    saddr.sin_family = AF_INET;
    saddr.sin_addr.s_addr = INADDR_ANY;

    // 绑定
    bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));

    // 监听
    listen(lfd, 8);

    // 创建一个fd_set的集合，存放的是需要检测的文件描述符
    fd_set rdset, tmp;
    FD_ZERO(&rdset);
    FD_SET(lfd, &rdset);
    int maxfd = lfd;

    while(1) {

        tmp = rdset;

        // 调用select系统函数，让内核帮检测哪些文件描述符有数据
        int ret = select(maxfd + 1, &tmp, NULL, NULL, NULL);
        if(ret == -1) {
            perror("select");
            exit(-1);
        } else if(ret == 0) {
            continue;
        } else if(ret > 0) {
            // 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
            if(FD_ISSET(lfd, &tmp)) {
                // 表示有新的客户端连接进来了
                struct sockaddr_in cliaddr;
                int len = sizeof(cliaddr);
                int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);

                // 将新的文件描述符加入到集合中
                FD_SET(cfd, &rdset);

                // 更新最大的文件描述符
                maxfd = maxfd > cfd ? maxfd : cfd;
            }

            for(int i = lfd + 1; i <= maxfd; i++) {
                if(FD_ISSET(i, &tmp)) {
                    // 说明这个文件描述符对应的客户端发来了数据
                    char buf[1024] = {0};
                    int len = read(i, buf, sizeof(buf));
                    if(len == -1) {
                        perror("read");
                        exit(-1);
                    } else if(len == 0) {
                        printf("client closed...\n");
                        close(i);
                        FD_CLR(i, &rdset);
                    } else if(len > 0) {
                        printf("read buf = %s\n", buf);
                        write(i, buf, strlen(buf) + 1);
                    }
                }
            }

        }

    }
    close(lfd);
    return 0;
}

缺点:

1.每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大
2.同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大
3.select支持的文件描述符数量太小了,默认是1024
4.fds集合不能重用，每次都需要重置

poll

工作原理

监视列表：poll通过一个名为pollfd的结构体数组指定一组要监视的文件描述符及其请求的事件。每个pollfd结构体包含三个主要字段：fd（文件描述符）、events（请求的事件类型）、revents（实际发生的事件类型）。
请求的事件：events字段用于指定对每个文件描述符感兴趣的事件，如POLLIN（数据可读）、POLLOUT（数据可写）和POLLERR（错误条件）等。
阻塞调用：调用poll函数时，可以指定超时时间（以毫秒计），poll会阻塞直到以下情况之一发生：至少一个文件描述符准备就绪（即事件发生）、发生错误、超时结束。
事件响应：当poll返回后，它会通过revents字段在pollfd结构体中标记每个文件描述符实际发生的事件。程序随后可以检查这些字段，以确定哪些文件描述符准备就绪以及就绪的类型，然后相应地处理它们。

使用场景

poll特别适合于需要处理多个I/O源但希望避免使用多线程或进程的应用程序，例如网络服务器和客户端、数据库系统以及任何需要高效I/O操作的系统工具或应用程序。poll提供了一种简单而有效的方式来同时监视多个I/O流的状态，使得程序能够及时响应I/O事件，提高了程序的性能和响应速度。

#include <poll.h>
struct pollfd {
    int   fd;         /* 委托内核检测的文件描述符 */
    short events;     /* 委托内核检测文件描述符的什么事件 */
    short revents;    /* 文件描述符实际发生的事件 */
};
struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT;
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
    - 参数：
        - fds : 是一个struct pollfd 结构体数组，这是一个需要检测的文件描述符的集合
        - nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1
        - timeout : 阻塞时长
            0 : 不阻塞
            -1 : 阻塞，当检测到需要检测的文件描述符有变化，解除阻塞
            >0 : 阻塞的时长
    - 返回值：
         -1 : 失败
         >0（n） : 成功,n表示检测到集合中有n个文件描述符发生变化

服务端代码示例：

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <poll.h>


int main() {

    // 创建socket
    int lfd = socket(PF_INET, SOCK_STREAM, 0);
    struct sockaddr_in saddr;
    saddr.sin_port = htons(9999);
    saddr.sin_family = AF_INET;
    saddr.sin_addr.s_addr = INADDR_ANY;

    // 绑定
    bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));

    // 监听
    listen(lfd, 8);

    // 初始化检测的文件描述符数组
    struct pollfd fds[1024];
    for(int i = 0; i < 1024; i++) {
        fds[i].fd = -1;
        fds[i].events = POLLIN;
    }
    fds[0].fd = lfd;
    int nfds = 0;

    while(1) {

        // 调用poll系统函数，让内核帮检测哪些文件描述符有数据
        int ret = poll(fds, nfds + 1, -1);
        if(ret == -1) {
            perror("poll");
            exit(-1);
        } else if(ret == 0) {
            continue;
        } else if(ret > 0) {
            // 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
            if(fds[0].revents & POLLIN) {
                // 表示有新的客户端连接进来了
                struct sockaddr_in cliaddr;
                int len = sizeof(cliaddr);
                int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);

                // 将新的文件描述符加入到集合中
                for(int i = 1; i < 1024; i++) {
                    if(fds[i].fd == -1) {
                        fds[i].fd = cfd;
                        fds[i].events = POLLIN;
                        break;
                    }
                }

                // 更新最大的文件描述符的索引
                nfds = nfds > cfd ? nfds : cfd;
            }

            for(int i = 1; i <= nfds; i++) {
                if(fds[i].revents & POLLIN) {
                    // 说明这个文件描述符对应的客户端发来了数据
                    char buf[1024] = {0};
                    int len = read(fds[i].fd, buf, sizeof(buf));
                    if(len == -1) {
                        perror("read");
                        exit(-1);
                    } else if(len == 0) {
                        printf("client closed...\n");
                        close(fds[i].fd);
                        fds[i].fd = -1;
                    } else if(len > 0) {
                        printf("read buf = %s\n", buf);
                        write(fds[i].fd, buf, strlen(buf) + 1);
                    }
                }
            }

        }

    }
    close(lfd);
    return 0;
}

select和poll区别：

可扩展性：
- select：受FD_SETSIZE限制，通常为1024，这意味着它最多只能监视1024个FDs。虽然可以通过修改系统定义来增加这个限制，但这样做可能会影响代码的可移植性和兼容性。
- poll：理论上不受此类静态限制，可以监视的FD数量仅受系统资源和内存大小的限制，使其更适合高负载环境和大量并发连接。
接口和使用：
- select：使用位掩码（fd_set）来表示FD集合，需要在每次调用时清空并重新设置这些掩码，这可能导致代码较为繁琐。
- poll：使用pollfd结构数组来指定监视的FDs和事件，使用起来更直观简单，因为不需要像select那样管理位掩码。
效率和性能：
- 对于监视大量FDs时，poll通常提供更好的性能，因为select需要在用户空间和内核空间之间复制整个FD集合，而poll只需要复制pollfd数组。随着FD数量的增加，select的性能劣势更为明显。
精细的事件控制：
- poll提供了更细粒度的控制，它允许指定更多种类的事件类型（如POLLIN、POLLOUT、POLLERR等），并且每个FD可以独立设置事件类型。这比select提供的读、写、异常三种类型更为灵活。

最后，也是最重要的epoll

能看到这，说明你已经很了解了select和poll，那么这个epoll一定一定一定也请你认真看完，因为它的重要性毋庸置疑的大。

epoll是一种高效的I/O事件通知机制，专为处理大量并发连接而设计，仅在Linux操作系统中可用。与传统的select和poll机制相比，epoll提供了更好的性能和可扩展性，尤其是在需要监视大量文件描述符的场景中。epoll能够避免select和poll中的一些性能问题，比如随着文件描述符数量增加而线性增长的扫描开销。

工作原理

epoll实例：通过调用epoll_create函数创建一个epoll实例，该实例关联了一个内核维护的事件表。
控制操作：使用epoll_ctl函数可以添加、修改或删除要监视的文件描述符及其关注的事件。这些文件描述符和事件被添加到epoll实例关联的事件表中。
等待事件：通过epoll_wait函数等待事件的发生。epoll_wait会阻塞直到一个或多个监视的文件描述符上发生了注册的事件，或者直到超时。与select和poll不同，epoll_wait仅返回有事件发生的文件描述符，从而减少了应用程序需要处理的文件描述符的数量。

关键特性

效率高：epoll使用事件驱动的方式，只处理活跃的连接，而不是像select或poll那样轮询所有文件描述符。这种方式在有大量文件描述符，但同时只有少数处于活跃状态的场景中，能显著减少CPU的使用率。
扩展性强：epoll不受文件描述符数量的限制，它的性能几乎不受监视列表大小的影响，使得它非常适合高负载的网络服务。
两种触发模式：epoll支持边缘触发（ET）和水平触发（LT）两种模式。边缘触发模式能进一步提高效率，因为它只在文件描述符状态变化时通知一次，但处理起来更复杂；水平触发模式更易于使用，因为它会持续通知直到事件被处理。

使用场景

epoll特别适用于高性能网络服务器，如HTTP服务器、数据库服务器以及任何需要管理大量并发网络连接的应用程序。由于它的高效和可扩展性，epoll成为了Linux系统下开发高性能网络应用的首选技术。

注意事项

仅限Linux：epoll是Linux特有的，不具备跨平台性。
编程复杂性：虽然epoll提供了高效的事件处理能力，但正确使用边缘触发模式可能比水平触发更为复杂，开发者需要仔细管理事件循环和缓冲区，以避免丢失事件或者无限循环。

typedef union epoll_data {
    void        *ptr;
    int          fd;
    uint32_t     u32;
    uint64_t     u64;
} epoll_data_t;
struct epoll_event {
    uint32_t     events;      /* Epoll events */
    epoll_data_t data;        /* User data variable */
};
常见的Epoll检测事件：
    - EPOLLIN
    - EPOLLOUT
    - EPOLLERR
// 对epoll实例进行管理：添加文件描述符信息，删除信息，修改信息
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
    - 参数：
            - epfd : epoll实例对应的文件描述符
            - op : 要进行什么操作
                EPOLL_CTL_ADD:  添加
                EPOLL_CTL_MOD:  修改
                EPOLL_CTL_DEL:  删除
            - fd : 要检测的文件描述符
            - event : 检测文件描述符什么事情
// 检测函数                
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int 
timeout);
    - 参数：
        - epfd : epoll实例对应的文件描述符
        - events : 传出参数，保存了发送了变化的文件描述符的信息
        - maxevents : 第二个参数结构体数组的大小
        - timeout : 阻塞时间
            - 0 : 不阻塞
            - -1 : 阻塞，直到检测到fd数据发生变化，解除阻塞
            - > 0 : 阻塞的时长（毫秒）
                
    - 返回值：
         - 成功，返回发送变化的文件描述符的个数 > 0
         - 失败 -1

服务端代码示例：

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/epoll.h>

int main() {

    // 创建socket
    int lfd = socket(PF_INET, SOCK_STREAM, 0);
    struct sockaddr_in saddr;
    saddr.sin_port = htons(9999);
    saddr.sin_family = AF_INET;
    saddr.sin_addr.s_addr = INADDR_ANY;

    // 绑定
    bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));

    // 监听
    listen(lfd, 8);

    // 调用epoll_create()创建一个epoll实例
    int epfd = epoll_create(100);

    // 将监听的文件描述符相关的检测信息添加到epoll实例中
    struct epoll_event epev;
    epev.events = EPOLLIN;
    epev.data.fd = lfd;
    epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev);

    struct epoll_event epevs[1024];

    while(1) {

        int ret = epoll_wait(epfd, epevs, 1024, -1);
        if(ret == -1) {
            perror("epoll_wait");
            exit(-1);
        }

        printf("ret = %d\n", ret);

        for(int i = 0; i < ret; i++) {

            int curfd = epevs[i].data.fd;

            if(curfd == lfd) {
                // 监听的文件描述符有数据达到，有客户端连接
                struct sockaddr_in cliaddr;
                int len = sizeof(cliaddr);
                int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);

                epev.events = EPOLLIN;
                epev.data.fd = cfd;
                epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev);
            } else {
                if(epevs[i].events & EPOLLOUT) {
                    continue;
                }   
                // 有数据到达，需要通信
                char buf[1024] = {0};
                int len = read(curfd, buf, sizeof(buf));
                if(len == -1) {
                    perror("read");
                    exit(-1);
                } else if(len == 0) {
                    printf("client closed...\n");
                    epoll_ctl(epfd, EPOLL_CTL_DEL, curfd, NULL);
                    close(curfd);
                } else if(len > 0) {
                    printf("read buf = %s\n", buf);
                    write(curfd, buf, strlen(buf) + 1);
                }

            }

        }
    }

    close(lfd);
    close(epfd);
    return 0;
}