I/O复用之 epoll使用详解 Linux编程

最新推荐文章于 2024-10-11 20:52:27 发布
最新推荐文章于 2024-10-11 20:52:27 发布
阅读量1k 收藏 30
点赞数 12
文章标签： linux 服务器 c++ 学习 架构 epoll
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44251074/article/details/142054185
版权

epoll 是 Linux 内核提供的一种用于多路复用 I/O 事件通知的机制，专为高效处理大量并发连接而设计。它被广泛应用于网络服务器和高性能应用中，主要用于监控多个文件描述符（如套接字、管道、文件等）上的事件（可读、可写、异常等）。

相比 select 和 poll，epoll 提供了更好的性能，尤其在文件描述符数量非常大的情况下。epoll 的优势来自其对事件的高效管理和通知机制。

epoll 的核心特性

  1. 事件驱动：epoll 是事件驱动的多路复用技术，可以监控大量的 I/O 事件，并在事件发生时通知用户程序处理。

  2. 常量级性能（O(1)）：epoll 在监控大量文件描述符时，性能不会随着描述符的数量线性增长。相比之下，select 和 poll 需要遍历整个文件描述符集，因而性能会随着描述符数量增加而下降。

  3. 水平触发 (Level-Triggered, LT) 和边缘触发 (Edge-Triggered, ET)：

    • 水平触发：默认模式，当文件描述符处于就绪状态时，每次调用 epoll_wait 都会返回该描述符。
    • 边缘触发：当文件描述符从非就绪变为就绪状态时，仅在状态变化时通知一次。因此，必须将文件描述符设置为非阻塞模式，并在每次事件通知时一次性读取所有可用数据，否则会错过后续事件。

  4. 内核事件队列：epoll 会在内核中创建一个事件队列，用户程序可以通过 epoll_wait 从该队列获取已经就绪的事件。

epoll 的工作原理

epoll 的工作可以分为以下三个步骤：

  1. 创建 epoll 实例：通过 epoll_create1 创建一个 epoll 实例，该实例类似于一个容器，用于存储需要监控的文件描述符及其事件。

  2. 注册、修改或删除文件描述符：通过 epoll_ctl 将需要监控的文件描述符添加到 epoll 实例中，或者修改、删除现有的文件描述符。

  3. 等待事件：通过 epoll_wait 等待注册的文件描述符发生指定的事件，当有事件发生时，返回事件的文件描述符。

epoll 函数详细说明

1. epoll_create1

epoll_create1 用于创建一个 epoll 实例，并返回一个用于管理文件描述符的文件描述符。

函数原型：
int epoll_create1(int flags);
参数：
  • flags：用于指定创建时的行为。可取值为：
    • 0：默认行为。
    • EPOLL_CLOEXEC：设置 FD_CLOEXEC 标志，表示在 exec() 调用后自动关闭该 epoll 文件描述符。
返回值：
  • 成功时返回一个 epoll 文件描述符（正整数）。
  • 失败时返回 -1，并设置 errno 指明错误类型。
示例：
int epfd = epoll_create1(0); // 创建 epoll 实例
if (epfd == -1) {
    perror("epoll_create1 failed");
    exit(EXIT_FAILURE);
}
注意：
  • 早期的 epoll_create 函数要求传入一个参数来表示监听的最大文件描述符数量，但该参数已经被忽略，推荐使用 epoll_create1 代替。
  • EPOLL_CLOEXEC 可以防止文件描述符在执行 fork() 和 exec() 时被意外继承。

2. epoll_ctl

epoll_ctl 是用于向 epoll 实例中添加、修改或删除文件描述符。它是 epoll 的核心控制函数。

函数原型：
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
参数：
  • epfd：通过 epoll_create1 返回的 epoll 文件描述符。
  • op：操作类型，表示是添加、修改还是删除文件描述符。可选值：
    • EPOLL_CTL_ADD：将 fd 添加到 epoll 实例中，监控指定的事件。
    • EPOLL_CTL_MOD：修改 fd 已注册的事件。
    • EPOLL_CTL_DEL：从 epoll 实例中删除 fd。
  • fd：需要监控的文件描述符。
  • event：描述监控的事件。是 struct epoll_event 类型的指针：
    struct epoll_event {
    uint32_t events;   // 要监控的事件类型（如 EPOLLIN、EPOLLOUT 等）
    epoll_data_t data; // 用户自定义的数据，可以是 fd 或指针
};
    常见的事件类型包括：
    • EPOLLIN：文件描述符可读。
    • EPOLLOUT：文件描述符可写。
    • EPOLLRDHUP：对端关闭连接。
    • EPOLLERR：发生错误。
    • EPOLLHUP：挂起事件。
    • EPOLLET：边缘触发模式。
返回值：
  • 成功时返回 0。
  • 失败时返回 -1，并设置 errno 指明错误类型。
示例：
struct epoll_event ev;
ev.events = EPOLLIN | EPOLLET; // 监控可读事件，并启用边缘触发
ev.data.fd = sockfd;           // 用户数据，这里存储的是套接字文件描述符

if (epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev) == -1) {
    perror("epoll_ctl: sockfd");
    exit(EXIT_FAILURE);
}
注意：
  • 边缘触发 vs 水平触发：默认是水平触发模式。如果需要边缘触发，需要在 events 中设置 EPOLLET。
  • 非阻塞模式：当使用边缘触发模式时，推荐将文件描述符设置为非阻塞模式，以确保不会错过事件。

3. epoll_wait

epoll_wait 用于等待 epoll 实例中的文件描述符上发生事件。该函数会阻塞直到有事件发生或超时时间到。

函数原型：
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
参数：
  • epfd：通过 epoll_create1 创建的 epoll 文件描述符。
  • events：指向 epoll_event 结构体的数组，用于返回已发生事件的文件描述符及事件类型。
  • maxevents：该数组的大小，表示最多返回多少个事件。
  • timeout：等待事件的超时时间（毫秒），可取值：
    • 0：立即返回，不阻塞（可用于轮询）。
    • -1：无限期阻塞，直到至少一个事件发生。

    • 0：阻塞指定的毫秒数。

返回值：
  • 成功时返回准备好的文件描述符的数量（正整数）。
  • 超时时返回 0。
  • 失败时返回 -1，并设置 errno。
示例：
struct epoll_event events[MAX_EVENTS];
int nfds = epoll_wait(epfd, events, MAX_EVENTS, -1); // -1 表示无限期等待
if (nfds == -1) {
    perror("epoll_wait failed");
    exit(EXIT_FAILURE);
}

for (int i = 0; i < nfds; ++i) {
    if (events[i].events & EPOLLIN) {
        // 处理可读事件
        int fd = events[i].data.fd;
        char buf[1024];
        int n = read(fd, buf, sizeof(buf));
        if (n == -1) {
            perror("read error");
            close(fd);
        } else if (n == 0) {
            // 对端关闭
            close(fd);
        } else {
            // 处理读取到的数据
            printf("Read %d bytes from fd %d: %s\n", n, fd, buf);
        }
    }
}
注意：
  • 返回的 events 数组中，包含的是已经触发事件的文件描述符和事件类型，使用 events[i].data.fd 访问文件描述符，events[i].events 访问事件类型。
  • 超时机制：在高并发应用中，设置合适的超时时间可以确保程序在等待时不会无限期阻塞，或者可以结合 timeout = 0 实现非阻塞轮询。

epoll 使用流程

  1. 创建 epoll 实例：

    int epfd = epoll_create1(0);

  2. 注册文件描述符：

    struct epoll_event ev;
ev.events = EPOLLIN;  // 监控可读事件
ev.data.fd = sockfd;  // 需要监控的套接字文件描述符
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);

  3. 等待事件：

    struct epoll_event events[MAX_EVENTS];
int nfds = epoll_wait(epfd, events, MAX_EVENTS, -1);
for (int i = 0; i < nfds; i++) {
    if (events[i].events & EPOLLIN) {
        // 处理可读事件
    }
}

  4. 删除文件描述符并关闭 epoll 实例：

    epoll_ctl(epfd, EPOLL_CTL_DEL, sockfd, NULL);
close(epfd);

epoll 使用示例

文件保存

将下面的 epoll 使用示例代码保存为 epoll_server.c：

#include <sys/epoll.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <arpa/inet.h>
#include <errno.h>

#define MAX_EVENTS 10
#define PORT 8080

int main() {
    int server_fd, new_socket, epfd, nfds;
    struct sockaddr_in address;
    struct epoll_event ev, events[MAX_EVENTS];

    // 创建监听套接字
    server_fd = socket(AF_INET, SOCK_STREAM, 0);
    address.sin_family = AF_INET;
    address.sin_addr.s_addr = INADDR_ANY;
    address.sin_port = htons(PORT);
    bind(server_fd, (struct sockaddr *)&address, sizeof(address));
    listen(server_fd, 10);

    // 创建 epoll 实例
    epfd = epoll_create1(0);
    if (epfd == -1) {
        perror("epoll_create1");
        exit(EXIT_FAILURE);
    }

    // 注册监听套接字的可读事件
    ev.events = EPOLLIN;
    ev.data.fd = server_fd;
    if (epoll_ctl(epfd, EPOLL_CTL_ADD, server_fd, &ev) == -1) {
        perror("epoll_ctl: server_fd");
        exit(EXIT_FAILURE);
    }

    while (1) {
        // 等待事件发生
        nfds = epoll_wait(epfd, events, MAX_EVENTS, -1);
        if (nfds == -1) {
            perror("epoll_wait");
            exit(EXIT_FAILURE);
        }

        // 处理每个已发生的事件
        for (int i = 0; i < nfds; i++) {
            if (events[i].data.fd == server_fd) {
                // 新连接到来
                new_socket = accept(server_fd, NULL, NULL);
                ev.events = EPOLLIN;
                ev.data.fd = new_socket;
                epoll_ctl(epfd, EPOLL_CTL_ADD, new_socket, &ev);
            } else {
                // 处理客户端连接上的可读事件
                char buf[1024];
                int fd = events[i].data.fd;
                int bytes = read(fd, buf, sizeof(buf));
                if (bytes <= 0) {
                    // 客户端断开连接
                    close(fd);
                    epoll_ctl(epfd, EPOLL_CTL_DEL, fd, NULL);
                } else {
                    // 处理读取到的数据
                    printf("Received data: %s\n", buf);
                }
            }
        }
    }

    close(server_fd);
    close(epfd);
    return 0;
}
编译

在终端中，使用 GCC 编译该程序：

gcc -o epoll_server epoll_server.c

2. 运行步骤

启动服务器

编译完成后，运行服务器程序：

./epoll_server

此时服务器将在 8080 端口监听客户端的连接。

运行客户端（使用 telnet 或 nc）

你可以使用 telnet 或 netcat (nc) 工具来连接服务器：

  • 使用 telnet：

    telnet localhost 8080

  • 使用 nc：

    nc localhost 8080

在成功连接到服务器后，你可以输入一些文本数据并按回车键，服务器会收到并显示发送的数据。

3. 预期输出结果

在服务器端的终端上，程序运行后将等待客户端连接和数据输入。当客户端连接并发送数据时，服务器会输出接收到的数据。

服务器端输出：
Received data: Hello from client 1
Received data: How are you?
Received data: Another message from client 1
客户端输出：

如果使用 telnet 或 nc，则会显示你输入的数据，如：

Hello from client 1
How are you?
Another message from client 1

4. 注意事项

  • 如果多个客户端连接到服务器，epoll 会同时监控这些连接，并处理它们发送的数据。
  • 服务器不会自动关闭，需要手动通过 Ctrl+C 终止。

epoll 与 select、poll 的对比

特性selectpollepoll
复杂度O(n)O(n)O(1)
文件描述符限制1024（默认）无无
性能随文件描述符增多而下降随文件描述符增多而下降文件描述符数量无关
内存拷贝每次调用都要将 fd 集合拷贝到内核同上初次注册后无需拷贝

epoll 应用场景

  1. 高并发网络服务器：处理成千上万的连接，例如 Web 服务器、反向代理、负载均衡器等。
  2. 长连接服务：需要持续与大量客户端保持连接的服务。
  3. 高效事件驱动应用：如聊天系统、推送系统等。

总结

epoll 提供了一种高效的 I/O 事件管理方式，适用于处理大量并发连接。通过合理使用 epoll_ctl、epoll_wait，以及选择合适的触发模式，可以在高并发场景下大幅提高程序的性能和可扩展性。

Narcotis
关注
linux高并发多路I/O复用之epoll模型
qq_26105397的博客
04-02 958
Epoll模型 概念： epoll是Linux内核为处理大批句柄而作改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著的减少程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。因为它会复用文件描述符集合来传递结果，而不是迫使开发者每次等待事件之前都必须重新准备要被侦听的文件描述符集合，另一个原因就是获取事件的时候，它无须遍历整个被侦听的描述符集...
Linux Epoll介绍和程序实例
热门推荐
sparkliang的专栏
11-05 12万+
Linux Epoll介绍和程序实例1. Epoll是何方神圣？Epoll可是当前在Linux下开发大规模并发网络程序的热门人选，Epoll 在Linux2.6内核中正式引入，和select相似，其实都I/O多路复用技术而已，并没有什么神秘的。其实在Linux下设计并发网络程序，向来不缺少方法，比如典型的Apache模型（Process Per Connection，简称PPC），TPC（Thre
Linux下的I/O复用与epoll详解
juyin2015的博客
07-27 313
前言 &nbsp; &nbsp; &nbsp; I/O多路复用有很多种实现。在linux上，2.4内核前主要是select和poll，自Linux 2.6内核正式引入epoll以来，epoll已经成为了目前实现高性能网络服务器的必备技术。尽管他们的使用方法不尽相同，但是本质上却没有什么区别。本文将重点探讨将放在EPOLL的实现与使用详解。 为什么会是EPOLL selec...
Linux I/O复用与epoll详解
destiny的专栏
04-04 340
select，poll，epoll之间的区别 select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无...
Linux下的I/O复用与epoll详解(ET与LT)
eyucham的专栏
01-16 9207
前言       I/O多路复用有很多种实现。在linux上，2.4内核前主要是select和poll，自Linux 2.6内核正式引入epoll以来，epoll已经成为了目前实现高性能网络服务器的必备技术。尽管他们的使用方法不尽相同，但是本质上却没有什么区别。本文将重点探讨将放在EPOLL的实现与使用详解。 为什么会是EPOLL select的缺陷       高并发的核心解决方案是1个...
Linux网络编程16——I/O复用之epoll详解
郑亚帅
01-14 308
一、epoll概述 epoll 是在 2.6 内核中提出的，是之前的 select() 和 poll() 的增强版本。相对于 select() 和 poll() 来说，epoll 更加灵活，没有描述符限制。epoll 使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的 copy 只需一次。 二、epoll操作过程需
linux下的I/O复用模型之epoll详解
ryanxw growing
04-07 245
epoll函数 在这里插入代码片 epoll服务器代码 测试结果 模型评价
Linux中I/O复用——epoll函数详解及代码实现
MOON5555的博客
01-22 456
Linux中I/O复用——epoll函数详解及代码实现 一、为什么是epoll 在前面用select函数有效的解决了多个I/O端口的复用问题，但是select函数存在两个缺陷： 一是进程所能同时打开的文件描述符个数受FD_SETSIZE大小的限制; 二是每个select函数返回可用的文件描述符集合后，应用都必须对所有已注册的文件描述符进行遍历对比，以确定哪个描述符上发生了事件，从而
Linux I/O多路复用详解及实例
09-15
Linux I/O多路复用是一种高效的编程模型，它允许单个进程同时监视多个I/O事件，从而提高了系统的并发处理能力。在Linux中，I/O多路复用主要有三种实现方式：`select`、`poll`和`epoll`。这些机制都用于解决传统阻塞I...
《Linux高性能服务器编程》---读书笔记（三）---复用I/O总结、Epoll详解、I/O框架库libevent
阿龙的博客
01-20 381
I/O复用 使得程序同时监听多个文件描述符。但是其本身是阻塞的。监听的同时就绪时，会顺序依次处理。主要有select， poll， epoll。 select： select I/O复用系统调用，使用fd_set这个结构来存储文件描述符，以bit表示。并且有最大限制(好像是1024*8)。 将可读，可写，异常的三组fd_set传入，然后如果有可读可写异常，则会修改对应的fd_set的标志位以告知用户。 书里提到了就绪条件，供参考： 对于标志位的结果，需要通过轮询的方式来查找，效率很低。
selectors ---高级I/O复用模块详解
ammmao的博客
06-19 934
文章目录一、前言1.I/O多路复用2.select、poll、epoll的三者的区别：①select②poll③epoll3.水平触发和边缘触发①水平触发②边缘触发4.select和epoll的特点二、概述三、selectors库的一些使用方法1.selectors库的一些常用类和方法2.selectors库的总结3.使用selectors构建传统聊天室服务端 一、前言 1.I/O多路复用 - 大...
一文彻底搞懂I/O多路复用及其技术
Linuxhus的博客
08-31 891
前言 ​ 高性能是每个程序员的追求，无论写一行代码还是做一个系统，都希望能够达到高性能的效果。高性能架构设计主要集中在两方面： 尽量提升单服务器的性能，将单服务器的性能发挥到极致 如果单服务器无法支撑性能，设计服务器集群方案 ​ 单服务器高性能的关键之一就是服务器采取的网络编程模型。服务器如何管理连接，如何处理请求等。这两个设计点最终都和操作系统的I/O模型及进程模型相关。 I/O模型：阻塞、非阻塞、同步、异步 进程模型：单进程、多进程、多线程。 ​ 我们所说的I/O模型是指网络I/O模型,就是服
linux信号 | 信号的补充知识
strive_mianyang的博客
10-07 1386
linux信号的补充
Linux 命令：每日一学，参数传递之xargs命令实践
WeiyiGeek 唯一极客IT知识分享
10-11 766
描述：上一章，我们学习了Linux中查找搜寻文件或目录的相关命令，此章我们学习常常与find命令联合使用，以及在Shell脚本中常用的参数替换 xargs 命令进行实践学习，从而实现更加强大的参数传递和多进程并行执行Linux命令或脚本等Linux 命令：每日一学，参数传递之xargs命令实践此Linux 命令 | 系列文章将作为《#运维从业必学。
[Linux#63][TCP] 常见标志位 | 为什么是三次握手,四次挥手？
2301_80171004的博客
10-10 989
本文介绍了 TCP 协议中 6 个标志位的作用、三次握手和四次挥手的具体过程，以及 TIME_WAIT 状态的处理方法
《Linux从小白到高手》综合应用篇：详解Linux系统调优之内存优化
最新发布
qq_45732829的博客
10-11 775
内存是影响Linux性能的主要因素之一，内存资源的充足与否直接影响应用系统的使用性能。内存调优的主要目标是合理分配和利用内存资源，减少内存浪费，提高内存利用率，从而提升系统整体性能。
Linux I/O 模型详解：从基本概念到epoll
在这些模型中，epoll是I/O多路复用的一种高效实现，尤其适用于高并发的网络编程场景。epoll提供了边缘触发（ET）和水平触发（LT）两种工作模式，使得它能够更有效地管理多个文件描述符。 首先，让我们了解基本的IO...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值