2024年Go最新epoll原理详解及epoll反应堆模型，已有千人收藏

最新推荐文章于 2024-05-20 08:30:00 发布
最新推荐文章于 2024-05-20 08:30:00 发布
阅读量734 收藏 28
点赞数 13
分类专栏： 程序员 文章标签： go 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84911309/article/details/138831004
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

当某一进程调用epoll_create方法时，Linux内核会创建一个eventpoll结构体，这个结构体中有两个成员与epoll的使用方式密切相关，如下所示：

struct eventpoll {
　　...
　　/\*红黑树的根节点，这棵树中存储着所有添加到epoll中的事件，
　　也就是这个epoll监控的事件\*/
　　struct rb_root rbr;
　　/\*双向链表rdllist保存着将要通过epoll\_wait返回给用户的、满足条件的事件\*/
　　struct list_head rdllist;
　　...
};

我们在调用epoll_create时，内核除了帮我们在epoll文件系统里建了个file结点，在内核cache里建了个红黑树用于存储以后epoll_ctl传来的socket外，还会再建立一个rdllist双向链表，用于存储准备就绪的事件，当epoll_wait调用时，仅仅观察这个rdllist双向链表里有没有数据即可。有数据就返回，没有数据就sleep，等到timeout时间到后即使链表没数据也返回。所以，epoll_wait非常高效。

所有添加到epoll中的事件都会与设备(如网卡)驱动程序建立回调关系，也就是说相应事件的发生时会调用这里的回调方法。这个回调方法在内核中叫做ep_poll_callback，它会把这样的事件放到上面的rdllist双向链表中。

在epoll中对于每一个事件都会建立一个epitem结构体，如下所示：

struct epitem {
　　...
　　//红黑树节点
　　struct rb_node rbn;
　　//双向链表节点
　　struct list_head rdllink;
　　//事件句柄等信息
　　struct epoll_filefd ffd;
　　//指向其所属的eventepoll对象
　　struct eventpoll \*ep;
　　//期待的事件类型
　　struct epoll_event event;
　　...
}; // 这里包含每一个事件对应着的信息。

当调用epoll_wait检查是否有发生事件的连接时，只是检查eventpoll对象中的rdllist双向链表是否有epitem元素而已，如果rdllist链表不为空，则这里的事件复制到用户态内存（使用共享内存提高效率）中，同时将事件数量返回给用户。因此epoll_waitx效率非常高。epoll_ctl在向epoll对象中添加、修改、删除事件时，从rbr红黑树中查找事件也非常快，也就是说epoll是非常高效的，它可以轻易地处理百万级别的并发连接。
在这里插入图片描述

【总结】：

一颗红黑树，一张准备就绪句柄链表，少量的内核cache，就帮我们解决了大并发下的socket处理问题。

  • 执行epoll_create()时，创建了红黑树和就绪链表；
  • 执行epoll_ctl()时，如果增加socket句柄，则检查在红黑树中是否存在，存在立即返回，不存在则添加到树干上，然后向内核注册回调函数，用于当中断事件来临时向准备就绪链表中插入数据；
  • 执行epoll_wait()时立刻返回准备就绪链表里的数据即可。
    在这里插入图片描述

二、epoll的两种触发模式

epoll有EPOLLLT和EPOLLET两种触发模式，LT是默认的模式，ET是“高速”模式。

  • LT（水平触发）模式下，只要这个文件描述符还有数据可读，每次 epoll_wait都会返回它的事件，提醒用户程序去操作；
  • ET（边缘触发）模式下，在它检测到有 I/O 事件时，通过 epoll_wait 调用会得到有事件通知的文件描述符，对于每一个被通知的文件描述符，如可读，则必须将该文件描述符一直读到空，让 errno 返回 EAGAIN 为止，否则下次的 epoll_wait 不会返回余下的数据，会丢掉事件。如果ET模式不是非阻塞的，那这个一直读或一直写势必会在最后一次阻塞。

还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知。

在这里插入图片描述

【epoll为什么要有EPOLLET触发模式？】：

如果采用EPOLLLT模式的话，系统中一旦有大量你不需要读写的就绪文件描述符，它们每次调用epoll_wait都会返回，这样会大大降低处理程序检索自己关心的就绪文件描述符的效率.。而采用EPOLLET这种边缘触发模式的话，当被监控的文件描述符上有可读写事件发生时，epoll_wait()会通知处理程序去读写。如果这次没有把数据全部读写完(如读写缓冲区太小)，那么下次调用epoll_wait()时，它不会通知你，也就是它只会通知你一次，直到该文件描述符上出现第二次可读写事件才会通知你！！！这种模式比水平触发效率高，系统不会充斥大量你不关心的就绪文件描述符。

【总结】：

  • ET模式（边缘触发）只有数据到来才触发，不管缓存区中是否还有数据，缓冲区剩余未读尽的数据不会导致epoll_wait返回；
  • LT 模式（水平触发，默认）只要有数据都会触发，缓冲区剩余未读尽的数据会导致epoll_wait返回。

三、epoll反应堆模型

【epoll模型原来的流程】：

epoll_create(); // 创建监听红黑树
epoll_ctl(); // 向书上添加监听fd
epoll_wait(); // 监听
有监听fd事件发送--->返回监听满足数组--->判断返回数组元素--->
lfd满足accept--->返回cfd---->read()读数据--->write()给客户端回应。

【epoll反应堆模型的流程】：

epoll_create(); // 创建监听红黑树
epoll_ctl(); // 向书上添加监听fd
epoll_wait(); // 监听
有客户端连接上来--->lfd调用acceptconn()--->将cfd挂载到红黑树上监听其读事件--->
epoll_wait()返回cfd--->cfd回调recvdata()--->将cfd摘下来监听写事件--->
epoll_wait()返回cfd--->cfd回调senddata()--->将cfd摘下来监听读事件--->...--->

在这里插入图片描述

【Demo】：

#include <stdio.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>

#define MAX\_EVENTS 1024 /\*监听上限\*/
#define BUFLEN 4096 /\*缓存区大小\*/
#define SERV\_PORT 6666 /\*端口号\*/

void recvdata(int fd,int events,void \*arg);
void senddata(int fd,int events,void \*arg);

/\*描述就绪文件描述符的相关信息\*/
struct myevent_s
{
    int fd;             //要监听的文件描述符
    int events;         //对应的监听事件，EPOLLIN和EPLLOUT
    void \*arg;          //指向自己结构体指针
    void (\*call_back)(int fd,int events,void \*arg); //回调函数
    int status;         //是否在监听:1->在红黑树上(监听), 0->不在(不监听)
    char buf[BUFLEN];   
    int len;
    long last_active;   //记录每次加入红黑树 g\_efd 的时间值
};

int g_efd;      //全局变量，作为红黑树根
struct myevent_s g_events[MAX_EVENTS+1];    //自定义结构体类型数组. +1-->listen fd


/\*
 \* 封装一个自定义事件，包括fd，这个fd的回调函数，还有一个额外的参数项
 \* 注意：在封装这个事件的时候，为这个事件指明了回调函数，一般来说，一个fd只对一个特定的事件
 \* 感兴趣，当这个事件发生的时候，就调用这个回调函数
 \*/
void eventset(struct myevent_s \*ev, int fd, void (\*call_back)(int fd,int events,void \*arg), void \*arg)
{
    ev->fd = fd;
    ev->call_back = call_back;
    ev->events = 0;
    ev->arg = arg;
    ev->status = 0;
    if(ev->len <= 0)
    {
        memset(ev->buf, 0, sizeof(ev->buf));
        ev->len = 0;
    }
    ev->last_active = time(NULL); //调用eventset函数的时间
    return;
}

/\* 向 epoll监听的红黑树 添加一个文件描述符 \*/
void eventadd(int efd, int events, struct myevent_s \*ev)
{
    struct epoll_event epv={0, {0}};
    int op = 0;
    epv.data.ptr = ev; // ptr指向一个结构体（之前的epoll模型红黑树上挂载的是文件描述符cfd和lfd，现在是ptr指针）
    epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT
    if(ev->status == 0)       //status 说明文件描述符是否在红黑树上 0不在，1 在
    {
        op = EPOLL_CTL_ADD; //将其加入红黑树 g\_efd, 并将status置1
        ev->status = 1;
    }
    if(epoll\_ctl(efd, op, ev->fd, &epv) < 0) // 添加一个节点
        printf("event add failed [fd=%d],events[%d]\n", ev->fd, events);
    else
        printf("event add OK [fd=%d],events[%0X]\n", ev->fd, events);
    return;
}

/\* 从epoll 监听的 红黑树中删除一个文件描述符\*/
void eventdel(int efd,struct myevent_s \*ev)
{
    struct epoll_event epv = {0, {0}};
    if(ev->status != 1) //如果fd没有添加到监听树上，就不用删除，直接返回
        return;
    epv.data.ptr = NULL;
    ev->status = 0;
    epoll\_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);
    return;
}

/\* 当有文件描述符就绪, epoll返回, 调用该函数与客户端建立链接 \*/
void acceptconn(int lfd,int events,void \*arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;
    if((cfd = accept(lfd, (struct sockaddr \*)&cin, &len)) == -1)
    {
        if(errno != EAGAIN && errno != EINTR)
        {
            sleep(1);
        }
        printf("%s:accept,%s\n",\_\_func\_\_, strerror(errno));
        return;
    }
    do
    {
        for(i = 0; i < MAX_EVENTS; i++) //从全局数组g\_events中找一个空闲元素，类似于select中找值为-1的元素
        {
            if(g_events[i].status ==0)
                break;
        }
        if(i == MAX_EVENTS) // 超出连接数上限
        {
            printf("%s: max connect limit[%d]\n", \_\_func\_\_, MAX_EVENTS);
            break;
        }
        int flag = 0;
        if((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) //将cfd也设置为非阻塞
        {
            printf("%s: fcntl nonblocking failed, %s\n", \_\_func\_\_, strerror(errno));
            break;
        }
        eventset(&g_events[i], cfd, recvdata, &g_events[i]); //找到合适的节点之后，将其添加到监听树中，并监听读事件
        eventadd(g_efd, EPOLLIN, &g_events[i]);
    }while(0);

    printf("new connect[%s:%d],[time:%ld],pos[%d]",inet\_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return;
}

/\*读取客户端发过来的数据的函数\*/
void recvdata(int fd, int events, void \*arg)
{
    struct myevent_s \*ev = (struct myevent_s \*)arg;
    int len;

    len = recv(fd, ev->buf, sizeof(ev->buf), 0);    //读取客户端发过来的数据

    eventdel(g_efd, ev);                            //将该节点从红黑树上摘除

    if (len > 0) 
    {
        ev->len = len;
        ev->buf[len] = '\0';                        //手动添加字符串结束标记
        printf("C[%d]:%s\n", fd, ev->buf);                  

        eventset(ev, fd, senddata, ev);             //设置该fd对应的回调函数为senddata 
        eventadd(g_efd, EPOLLOUT, ev);              //将fd加入红黑树g\_efd中,监听其写事件 

    } 


![img](https://img-blog.csdnimg.cn/img_convert/699561fe7495cc85b75e9282e199a28e.png)
![img](https://img-blog.csdnimg.cn/img_convert/244f1bb5ecefe3a8e40bd71e10597d49.png)
![img](https://img-blog.csdnimg.cn/img_convert/adf171c19a56e195bf419c5bb17096cd.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618658159)**

]
[外链图片转存中...(img-9kw1WIwH-1715630952068)]
[外链图片转存中...(img-MusVY8WL-1715630952068)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618658159)**
2401_84911309
关注
  • 13
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Go and epoll
shuoGG的专栏
06-07 511
net包与epoll linux下go的网络包底层如tcp也是采用epoll来实现, 你可以从Accept方法一路追下去, 追到尽头你会看到internal/poll/fd_poll_runtime.go里面这些在runtime实现的方法: func runtime_pollServerInit() func runtime_pollOpen(fd uintptr) (uintptr, int) func runtime_pollClose(ctx uintptr) func runtime_pollW
go标准库I/O模型:epoll+多协程
weixin_34088583的博客
04-08 414
本文为linux环境下的总结，其他操作系统本质差别不大。本地文件I/O和网络I/O逻辑类似。 epoll+多线程的模型 epoll+多线程模型和epoll 单进程区别、优点     对比于redis这样典型的epoll+单进程为主的模型，个人理解epoll+多线程模型相对来说,epoll+多线程更利于程序员编写，维护代码，毕竟多线程的模型更符合多数人的逻辑方式。     例如，单进程下，如果是简单...
从源代码角度看 epoll 在 Go 中的使用（一）
Go中国
02-23 3359
本文字数：4104 字精读时间：10 分钟也可在 5 分钟内完成速读Go 提供了功能完备的标准网络库：net包，net包的实现相当之全面，http\tcp\udp 均有实现且对用户提供了...
Linux网络编程中的反应堆模型详解
qq_46017342的博客
12-01 108
Linux网络编程中的反应堆模型详解
Go-基于epoll协程池的golang网络库
08-14
基于epoll 协程池的golang网络库。支持epoll事件触发，读数据和业务逻辑处理分离，最大化利用cpu，防止内存急剧暴涨，适用于长连接、短连接，支持请求对象池和连接对象池
epoll_loop.c epoll模型反应堆
09-04
epoll反应堆模型代码，相对于网上普通的epoll模型增加了send recv 操作，并有详细的注释epoll反应堆
epoll反应堆模型
09-20
epoll c++ linux 技术探讨，新手必备 epoll c++ linux 技术探讨，新手必备 epoll c++ linux 技术探讨，新手必备
epoll反应堆.xmind
01-13
xmind
LinuxIO模式及select、poll、epoll详解
02-26
无论你是刚加入Ubuntu行列的新用户，还是有经验的老用户，你都会发现一些非常有用的调整和建议。注：本文是对众多博客的学习和总结，可能存在理解错误。请带着怀疑的眼光，同时如果有错误希望能指出。同步IO和异步IO...
Golang Epoll初体验
ALakers的博客
05-15 1394
本文参考自：https://colobu.com/2019/02/23/1m-go-tcp-connection/,本文只是简单运行一个服务端的demo，更多信息请浏览原文 关于Golang的epoll： Go的net方式在Linux也是通过epoll方式实现的，为什么我们还要再使用epoll方式进行封装呢？原因在于Go将epoll方式封装再内部，对外并没有直接提供epoll的方式来使用。也有一些封装了epoll的库如：evio 等 Epoll server实现： package main import.
epoll 使用golang实现
05-05
golang 语言实现 epoll 在 Linux, MacOS and windows 平台上
golang socket读写同时_Golang是怎么利用 epoll 的
weixin_32616935的博客
01-20 606
使用Golang可以轻松地为每一个TCP连接创建一个协程去服务而不用担心性能问题，这是因为Go内部使用goroutine结合IO多路复用实现了一个“异步”的IO模型，这使得开发者不用过多的关注底层，而只需要按照需求编写上层业务逻辑。这种异步的IO是如何实现的呢？下面我会针对Linux系统进行分析。在Unix/Linux系统下，一切皆文件，每条TCP连接对应了一个socke...
用 Go 实现一个基于epoll 的 IO库
kevin_tech的博客，微信搜「网管叨bi叨」
06-13 371
‍‍‍‍目前Go圈有很多款异步的网络框架:evio,nbio,gnet,cloudwego/netpoll......,排名不分先后。这里面最早的实现是evio。evio也存在一些问题，之前也写过evio文章介绍过。其他比如nbio和gnet也写过一些源码分析。这些框架在应用层上做了很多优化，比如:Worker Pool,Buffer,Ring Buffer,NoCopy......。都分析了好几...
golang 网络并发编程模型——为什么使用epoll
Star_CSU的博客
12-06 1327
golang进程在启动时，会唯一创建epoll实例，并启动netpoll函数，轮询读取epoll中准备好的描述符，并唤醒网络连接描述符中对应的协程。通过多协程+epoll的网络模型，将协程的IO阻塞，控制在用户进程中，而不是在绑定线程后产生的系统调用阻塞，这样就可以避免大量线程被创建，而出现服务内存资源不够用的情况。
通过redis学网络(1)-用go基于epoll实现最简单网络通信框架
我活在当下，我巨他妈勇敢。
06-07 123
这节算是用golang去演示了下如何对epoll api的调用，并且能够实现最简单的客户端服务端通信，下一节我会讲解redis的网络模型是怎么样的，你可以从中了解到经常说的redis的单线程具体是指什么，了解到reactor网络模型是怎样的？
深入理解 Golang: 网络编程
不定期更新 Web 开发及机器学习相关博客
07-02 966
在 Go 中，内部采用结合阻塞模型和多路复用的方法。在这里就不再是线程操作 Socket，而是 Goroutine 协程。每个协程关心一个 Socket 连接：1.在底层使用操作系统的多路复用 IO；2.在协程层次使用阻塞模型。3.阻塞协程时，休眠协程。
在 golang 中是如何对 epoll 进行封装的？
笔记
06-28 554
转载地址：在 golang 中是如何对 epoll 进行封装的？ - 知乎在协程没有流行以前，传统的网络编程中，同步阻塞是性能低下的代名词，一次切换就得是 3 us 左右的 CPU 开销。各种基于 epoll 的异步非阻塞的模型虽然提高了性能，但是基于回调函数的编程方式却非常不符合人的的直线思维模式。开发出来的代码的也不那么容易被人理解。Golang 的出现，可以说是将协程编程模式推向了一个高潮。这种新的编程方式既兼顾了同步编程方式的简单易用，也在底层通过协程和 epoll 的配合避免了线程切换的性能高损耗
聊聊go语言基于epoll的网络并发实现
最新发布
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
05-20 929
处理，而边缘触发为避免这种频繁在用户态到内核态的开销，如果当前IO数据没处理完，则等待下一次IO数据就绪后再处理，所以这种模式就要求应用程序必须一次性将数据读取完成，在应用层面进行处理。因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。获取就绪的事件，基于这些事件定位到对应的。
epoll反应堆模型总述
04-18
epoll反应堆模型是一种高效的I/O多路复用机制，常用于服务器端的网络编程。它通过将I/O事件的处理交给操作系统内核来实现高并发和高性能。 在epoll反应堆模型中，主要有以下几个关键组件： 1. 文件描述符（File ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值