读懂才会用 ： 瞅瞅Redis的epoll模型

最新推荐文章于 2024-07-07 17:47:43 发布
最新推荐文章于 2024-07-07 17:47:43 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： redis 文章标签： redis linux nio 缓存 epoll
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48071146/article/details/106319454
版权

上一篇提到了Redis采用epoll模型来提升链接处理能力。本文，我们从源代码的角度，简单理解Redis是如何使用epoll以及epoll的实现原理。浅入浅出~

通过本文了解如下三件事儿，就算是达到了本文目的：

1、epoll是Linux提供的系统实现，核心方法只有三个

2、epoll效率高，是因为基于红黑树、双向链表、事件回调机制

3、redis的IO多路复用，Linux上用epoll进行了实现

epoll是Linux内核提供的一种多路复用器，照例问问Linux的男人：


EPOLL(7)                    Linux Programmer's Manual                    EPOLL(7)

NAME
       epoll - I/O event notification facility

SYNOPSIS
       #include <sys/epoll.h>

DESCRIPTION
       The epoll API performs a similar task to poll(2): monitoring multiple file
       descriptors to see if I/O is possible on any of them.  The epoll  API  can
       be  used  either  as  an edge-triggered or a level-triggered interface and
       scales well to large numbers of watched file descriptors.   The  following
       system calls are provided to create and manage an epoll instance:

       *  epoll_create(2) creates an epoll instance and returns a file descriptor
          referring to that instance.  (The more recent epoll_create1(2)  extends
          the functionality of epoll_create(2).)

       *  Interest   in  particular  file  descriptors  is  then  registered  via
          epoll_ctl(2).  The set of file descriptors currently registered  on  an
          epoll instance is sometimes called an epoll set.
       *  epoll_wait(2)  waits  for I/O events, blocking the calling thread if no
          events are currently available.

核心方法

man告诉我们epoll的定义在sys/epoll.h中，查看核心函数有3个：（在线代码https://elixir.bootlin.com/linux/v4.19.76/source/fs/eventpoll.c）

epoll_create

epoll_create(int size)

核心功能：

  1. 创建一个epoll文件描述符

  2. 创建eventpoll，其中包含红黑树cache和双向链表

参数size并不是限制了epoll所能监听的文件描述符最大个数，只是对内核初始分配内部数据结构的一个建议。在Linux 2.6.8后，size 参数被忽略，但是必须传一个比 0 大的数。

调用epoll_create后，会占用一个fd值。在Linux下可以查看/proc/$$/fd/ 文件描述符。使用完，需要调用close关闭。

eventpoll代码片段：


struct eventpoll {
	/*
	 * This mutex is used to ensure that files are not removed
	 * while epoll is using them. This is held during the event
	 * collection loop, the file cleanup path, the epoll file exit
	 * code and the ctl operations.
	 */
	struct mutex mtx;

	/* Wait queue used by sys_epoll_wait() */
	wait_queue_head_t wq;

	/* Wait queue used by file->poll() */
	wait_queue_head_t poll_wait;

	/* List of ready file descriptors */
	struct list_head rdllist;//就绪列表，采用双向链表

	/* RB tree root used to store monitored fd structs */
	struct rb_root_cached rbr;//红黑树，保存存活的fd

	/*
	 * This is a single linked list that chains all the "struct epitem" that
	 * happened while transferring ready events to userspace w/out
	 * holding ->wq.lock.
	 */
	struct epitem *ovflist;

	/* wakeup_source used when ep_scan_ready_list is running */
	struct wakeup_source *ws;

	/* The user that created the eventpoll descriptor */
	struct user_struct *user;

	struct file *file;

	/* used to optimize loop detection check */
	int visited;
	struct list_head visited_list_link;

#ifdef CONFIG_NET_RX_BUSY_POLL
	/* used to track busy poll napi_id */
	unsigned int napi_id;
#endif
};

epollctl

int epollctl(int epfd, int op, int fd, struct epollevent *event)；

核心功能：

  1. 对指定描述符fd执行op的绑定操作

  2. 把fd写入红黑树，同时在内核注册回调函数

op操作类型，用三个宏EPOLL_CTL_ADD，EPOLL_CTL_DEL，EPOLL_CTL_MOD，来分别表示增删改对fd的监听。

epollwait

int epollwait(int epfd, struct epollevent *events, int maxevents, int timeout);

核心功能：

  1. 获取epfd上的io事件

参数events是就绪事件，用来得到想要获得的事件集合。maxevents表示的events有多大，maxevents的值必须大于0，参数timeout是超时时间。epollwait会阻塞，直到一个文件描述符触发了事件，或者被一个信号处理函数打断，或者timeout超时。返回值是需要处理的fd数量。

 

工作机制

  • 建立高速缓存（红黑树）和待读取列表（双向链表）

  • 对要监控的fd（一切都是fd，参考NIO 看破也说破（一）—— Linux/IO 基础），进行事件绑定。事件发生，通过callback放入待读取列表

  • 阻塞获取待读取列表

 

执行流程

 

优点

  1. epoll创建的红黑树保存所有fd，没有大小限制，且增删查的复杂度O(logN)

  2. 基于callback，利用系统内核触发感兴趣的事件

  3. 就绪列表为双线链表时间复杂度O(1)

  4. 应用获取到的fd都是真实发生IO的fd，与select 和 poll 需要不断轮询判断是否可用相比，能避免无用的内存拷贝

结合Redis代码

源码太多，我们只看和本文相关的模块

事件处理模块 ae.c/ae_epoll.c

网路链接库 anet.c和networking.c

服务器端 server.c

创建事件管理器

server.c 的 L2702 initServer() 是redis server 的启动入口，

首先创建aeEventLoop对象，在L2743调用 aeCreateEventLoop()，初始化未就绪文件事件表、就绪文件事件表。events指针指向未就绪文件事件表、fired指针指向就绪文件事件表。


aeEventLoop *aeCreateEventLoop(int setsize) {
    aeEventLoop *eventLoop;
    int i;

    if ((eventLoop = zmalloc(sizeof(*eventLoop))) == NULL) goto err;
    eventLoop->events = zmalloc(sizeof(aeFileEvent)*setsize);
    eventLoop->fired = zmalloc(sizeof(aeFiredEvent)*setsize);
    if (eventLoop->events == NULL || eventLoop->fired == NULL) goto err;
    eventLoop->setsize = setsize;
    eventLoop->lastTime = time(NULL);
    eventLoop->timeEventHead = NULL;
    eventLoop->timeEventNextId = 0;
    eventLoop->stop = 0;
    eventLoop->maxfd = -1;
    eventLoop->beforesleep = NULL;
    eventLoop->aftersleep = NULL;
    eventLoop->flags = 0;
    if (aeApiCreate(eventLoop) == -1) goto err;
    /* Events with mask == AE_NONE are not set. So let's initialize the
     * vector with it. */
    for (i = 0; i < setsize; i++)
        eventLoop->events[i].mask = AE_NONE;
    return eventLoop;

err:
    if (eventLoop) {
        zfree(eventLoop->events);
        zfree(eventLoop->fired);
        zfree(eventLoop);
    }
    return NULL;
}

 

在ae_epoll.c L39 调用aeApiCreate 函数，首先创建了aeApiState对象，初始化了epoll就绪事件表；然后调用epoll_create创建了epoll实例，最后将该aeApiState赋值给apidata属性


static int aeApiCreate(aeEventLoop *eventLoop) {
    aeApiState *state = zmalloc(sizeof(aeApiState));

    if (!state) return -1;
    state->events = zmalloc(sizeof(struct epoll_event)*eventLoop->setsize);
    if (!state->events) {
        zfree(state);
        return -1;
    }
    state->epfd = epoll_create(1024); /* 1024 is just a hint for the kernel */
    if (state->epfd == -1) {
        zfree(state->events);
        zfree(state);
        return -1;
    }
    eventLoop->apidata = state;
    return 0;
}

 

绑定事件

aeFileEvent是文件事件结构，对于每一个具体的事件，都有读处理函数和写处理函数。Redis 调用aeCreateFileEvent函数针对不同的套接字的读写事件，注册对应的文件事件。


/* File event structure */
typedef struct aeFileEvent {
    int mask; /* one of AE_(READABLE|WRITABLE|BARRIER) */
    aeFileProc *rfileProc;//读
    aeFileProc *wfileProc;//写
    void *clientData;
} aeFileEvent;

server.c L2848 aeCreateFileEvent 创建文件事件，执行 ae_epoll.c L73 aeApiAddEvent


static int aeApiAddEvent(aeEventLoop *eventLoop, int fd, int mask) {
    aeApiState *state = eventLoop->apidata;
    struct epoll_event ee = {0}; /* avoid valgrind warning */
    /* If the fd was already monitored for some event, we need a MOD
     * operation. Otherwise we need an ADD operation. */
    int op = eventLoop->events[fd].mask == AE_NONE ?
            EPOLL_CTL_ADD : EPOLL_CTL_MOD;

    ee.events = 0;
    mask |= eventLoop->events[fd].mask; /* Merge old events */
    if (mask & AE_READABLE) ee.events |= EPOLLIN;
    if (mask & AE_WRITABLE) ee.events |= EPOLLOUT;
    ee.data.fd = fd;
    if (epoll_ctl(state->epfd,op,fd,&ee) == -1) return -1;
    return 0;
}

aeApiAddEvent 调用系统 epoll_ctl，注册事件 

 

处理事件

server.c倒数第三行，调用aeMain方法


void aeMain(aeEventLoop *eventLoop) {
    eventLoop->stop = 0;
    while (!eventLoop->stop) {
        if (eventLoop->beforesleep != NULL)
            eventLoop->beforesleep(eventLoop);
        aeProcessEvents(eventLoop, AE_ALL_EVENTS|AE_CALL_AFTER_SLEEP);
    }
}

aeProcessEvents方法中针对事件和文件事件处理，在ae.c L433 调用 aeApiPoll，方法具体实现在ae_poll.c L108：


static int aeApiPoll(aeEventLoop *eventLoop, struct timeval *tvp) {
    aeApiState *state = eventLoop->apidata;
    int retval, numevents = 0;

    retval = epoll_wait(state->epfd,state->events,eventLoop->setsize,
            tvp ? (tvp->tv_sec*1000 + tvp->tv_usec/1000) : -1);
    if (retval > 0) {
        int j;

        numevents = retval;
        for (j = 0; j < numevents; j++) {
            int mask = 0;
            struct epoll_event *e = state->events+j;

            if (e->events & EPOLLIN) mask |= AE_READABLE;
            if (e->events & EPOLLOUT) mask |= AE_WRITABLE;
            if (e->events & EPOLLERR) mask |= AE_WRITABLE|AE_READABLE;
            if (e->events & EPOLLHUP) mask |= AE_WRITABLE|AE_READABLE;
            eventLoop->fired[j].fd = e->data.fd;
            eventLoop->fired[j].mask = mask;
        }
    }
    return numevents;
}

调用epoll_wait阻塞等待epoll的事件就绪，超时时间就是之前根据最快达到时间事件计算而来的超时时间；然后将就绪的epoll事件转换到fired就绪事件。aeApiPoll就是上文所说的I/O多路复用程序。

 

结论

  • epoll_create 创建就绪列表

  • epoll_ctl绑定事件，事件发生时fd到就绪列表

  • epoll_wait读取就绪列表

参考：

redis6.0.1源码

https://elixir.bootlin.com/linux/v4.19.76/source/fs/eventpoll.c

man手册

NIO 看破也说破（一）—— Linux/IO 基础

 

关注我

如果您在微信阅读，请您点击链接 关注我 ，如果您在 PC 上阅读请扫码关注我，欢迎与我交流随时指出错误

 

小眼睛聊技术
关注
专栏目录
Redis-Epoll模型，以及多线程模型总结
u014753478的博客
03-18 1093
redis epoll模型以及多线程模型总结
select,poll,epoll区别
qq_36087425的博客
04-24 388
什么时候socket可读 socket内核中，接受缓冲区的字节数大于等于低水位标志SO_RCVLOWAT,此时调用 recv 或 read 函数可以无阻塞的读该文件描述符， 并且返回值大于0； TCP 连接的对端关闭连接，此时调用 recv 或 read 函数对该 socket 读，则返回 0； 侦听 socket ...
Redis的epoll模型
mhHao的博客
06-04 3026
之前相关文章推荐:Redis高性能与epoll 本文，我们从源代码的角度，简单理解Redis是如何使用epoll以及epoll的实现原理。浅入浅出~ 找我交流 通过本文了解如下三件事儿，就算是达到了本文目的： 1、epoll是Linux提供的系统实现，核心方法只有三个 2、epoll效率高，是因为基于红黑树、双向链表、事件回调机制 3、redis的IO多路复用，Linux上用epoll进行了实现 epoll是Linux内核提供的一种多路复用器，照例问问Linux的男人： EPOLL(7)
8、Redis 的线程模型、I/O 模型和多线程
最新发布
qq_29434541的博客
07-07 1094
Redis 基于 Reactor 模式开发了网络事件处理器 - 文件事件处理器（file event handler，简称 FEH）。该处理器是单线程的，所以 Redis 设计为单线程模型。通过 I/O 多路复用同时监听多个 socket，根据 socket 当前执行的事件选择对应的事件处理器。当被监听的 socket 准备好执行 accept、read、write、close 等操作时，FEH 调用 socket 关联的事件处理器处理事件。
Redis高性能设计之epoll和IO多路复用深度解析
qq_43456605的博客
03-15 1473
在处理多个客户端连接redis问题时，在多路复用没有出来之前，通常的解决方案就是同步阻塞网络IO（BIO）。这个模式的特点就是用一个进程来处理一个网络请求（一个用户请求）。这种思路很简单易懂，但是却存在着很大的问题，它的性能时极差的，如果每个用户请求都开辟一个新的进程来处理，那么来一个请求就需要分配一个进程来进行处理，如果来了海量的用户系统根本创建不了这么多线程来处理用户请求。必须让一个进程能够同时处理很多TCP连接。
Redis epoll事件模型
pythonluo的专栏
11-17 871
Redis的事件模型在这里我们用ae_epoll.c,epoll详细工作原理  https://blog.csdn.net/luolaifa000/article/details/84190836 一、redis对原始的epoll数据结构进行了封装  二、监听的入口函数   三、aeprocessevents  四、ae_epoll里面的事件触发处理 ...
epoll原理_读懂才会用 - 瞅瞅Redis的epoll模型
05-16
当有客户端请求到达时，epoll会通知Redis服务器并将请求数据从套接字中读取出来，Redis服务器再根据请求内容进行相应的处理。 在Redis中，epoll的优势在于能够高效地处理大量的客户端连接。因为传统的I/O模型中，每...
java面试常见问题大全！准备春招面试必看！
Viper的程序员修炼手册
02-28 566
目录 面试题 面试技巧 面试题 Java 基础 说说你对Fail-Fast的理解 什么是面向对象 JDK 和 JRE 有什么区别 == 和 equals 的区别是什么 两个对象的 hashCode()相同，则 equals()也一定为 true，对吗？ final 在 Java 中有什么作用？ String 属于基础的数据类型吗？ Java中操作字符串都有哪些类？它们之间有什么区别？ String str="i"与 String str=new String(“i”)一样吗？ 如何将字符串反转？ 普通
Redis学习笔记之Epoll
m0_37872998的博客
04-02 212
文章目录Redis epolllinux5种IOredis epoll调用流程 Redis epoll linux5种IO IO个人理解的Socket的读取方式，将socket中的数据拷贝到内核态，再从内核态拷贝到用户态（程序中）。 同步阻塞IO linux下使用man bio命令，可以得到如下描述 A BIO is an I/O abstraction, it hides many of the underlying I/O details from an application. 表示是一
redis与linux系统调用epoll
zilong230905的专栏
09-02 370
       redis 是一个单线程却性能非常好的内存数据库， 主要用来作为缓存系统。 redis 采用linux网络IO多路复用技术(epoll)来保证在多连接的时候， 系统的高吞吐量。redis的高并发与epoll介绍如下： redis的高并发的原因： 1）绝大部分请求是内存操作，非常快速 2）单线程，避免了不必要的上下文切换 3）IO内部实现采用l...
redis中epoll模型-IO多路复用详情解析
qq_35475714的博客
11-15 470
阅读完redis中的网络模型源码,该文章会基于源码是如何去实现的角度，去介绍epoll模型、事件处理。以及基于此，自己实现的多人聊天终端系统，并附带源码。 1、epoll模型介绍 epoll 是Linux内核为处理大量并发网络连接而提出的解决方案，能显著提升系统CPU利用率。epoll使用非常简单，总共只有3个API : epoll_create函数创建一个epoll专用的文件描述符，用于后续epoll相关API调用; epoll_ctl函数向epoll注册、修改或删除需要监控的事件; epoll_wai
Redis入门--万字长文详解epoll
qq_42583242的博客
09-16 1762
初始Redis Redis自此开始，希望善始善终 文章目录初始Redis一、计算机基础常识1、磁盘与内存2、I/O Buffer：4K3、Data page：4K4、索引5、B+树二、缓存三、Redis1、Redis优势--计算向数据移动2、Redis 如何处理高并发？--Epoll保证并发效率--epoll保证线程安全--单线程四、IO 技术的发展1、BIO2、NIO3、多路复用4、mmap--共享空间5、epoll6、总结7、补充：零拷贝技术--sendfile 一、计算机基础常识 1、磁盘与内存 数据
Epoll原理 多路复用 redis的IO模型
xishilife的专栏
08-12 137
redis 是一个单线程却性能非常好的内存数据库， 主要用来作为缓存系统。 redis 采用网络IO多路复用技术来保证在多连接的时候， 系统的高吞吐量。 为什么 Redis 中要使用 I/O 多路复用这种技术呢？ 首先，Redis 是跑在单线程中的，所有的操作都是按照顺序线性执行的，但是由于读写操作等待用户输入或输出都是阻塞的，所以 I/O 操作在一般情况下往往不能直接返回，这会导致某一文件的 I/O 阻塞导致整个进程无法对其它客户提供服务，而 I/O 多路复用 就是为了解决这个问题而出现的。...
redis 服务端处理客户端命令行的epoll事件执行过程分析
thjwsw的专栏
02-13 301
1、客户端链接 redis服务端启动时，在_anetTcpServer进行socket,bind,listen步骤时，建立一个监听的sock fd0。并把这个fd0 添加到epoll监听事件。设置的回调函数中，fe->rfileProc=acceptTcpHandler if (mask & AE_READABLE) fe->rfileProc = proc; ...
redis中epoll事件怎样与读写回调函数绑定
makesifriend的博客
06-19 1584
epoll多路分离机制虽然以数组的形式返回所有激活事件的fd及属性（读写），但没有指定对每个事件的操作。事实上，如果需要读写不同激活的fd，只能根据fd、属性来再次判断自己操作的是哪一个事件。在读操作的执行函数一致、写操作的执行函数一致时，这种做法是可行的。但如果读或写操作属性的事件具有不同的执行函数，就不能单纯根据事件的属性决定执行函数了。为了解决这个问题，redis提供了读写回调函数与注册事件...
Redis之事件模型
一个菜鸟的博客
06-07 2294
介绍 Redis将epoll自己简单的封装了，而并没有使用Libevent这种开源的高性能事件驱动库，而Redis为什么不使用这个呢，因为Redis的规则是轻量，而libevent支持平台多，里面实现了事件的优先级，一个事件可注册多个回调函数，evbuffer和其他对应Redis没用用的功能，所以Redis选择重新造就一个轮子，重新封装了epoll。这里看看作者如何简单封装epoll供他自己使用...
Redis 网络模型 -- 阻塞非阻塞IO、IO多路复用、epoll详解
m0_71777195的博客
10-29 1446
当用户进程调用了select，那么整个进程会被阻塞，而同时，内核会"监视"所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从内核拷贝到用户进程。这个模型和阻塞IO的模型其实并没有太大的不同，事实上还更差一些。因为这里需要使用两个系统调用(select和recvfrom)，而阻塞IO只调用了一个系统调用(recvfrom)。但是，用select的优势在于它可以同时处理多个连接。
redis网络编程---------------epoll----------socket和网络编程
weixin_39517473的博客
05-24 411
IO多路复用：epoll，poll，select 传统IO一个教室50个学生老师挨个问完成了没，50遍 epoll：谁写完把东西教我，就一遍 nginx，tomcat redis：单线程-------------网络编程 io模型牛逼 java程序通过native方法，用jni技术调用c方法 客户端与服务器端进行链接的时候有三个socket...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值