Redis服务器是一个事件驱动程序,服务器需要处理一下两类事件:
1)文件事件:Redis服务器通过套接字与客户端进行连接,而文件事件就是服务器对套接字操作的抽象。服务器与客户端的通信会产生相应的文件事件,而服务器则通过监听并处理这些事情来完成一系列网络通信操作。
2)时间事件:Redis服务器中的一些操作需要在给定的时间点执行,而时间事件就是对这类定时操作的抽象。
1.文件事件
Redis基于Reactor模式开发了自己的网络事件处理器,这个处理器被称为文件事件处理器:
1)文件事件处理器使用I/O多路复用程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器
2)当被监听的套接字准备好执行连接应答、读取、写入、关闭等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事情
虽然文件事件处理器以单线程方式运行,但通过使用I/O多路服用程序来监听多个套接字,文件事件处理器既实现了高性能的网络通信模型,又可以很好地与Redis服务器中其他同样以单线程方式运行的模块进行对接,保持了内部设计的简单性。
1.1 文件事件处理器的构成
文件事件处理器四个组成部分:套接字、I/O多路复用程序、文件事件分派器、事件处理器
文件事件是对套接字操作的抽象,每当一个套接字准备好执行连接应答、写入、读取、关闭等操作时,就会产生一个文件事件。因为一个服务器通常会连接多个套接字,所以多个文件事件有可能会并发出现。
IO多路复用程序负责监听多个套接字,并向文件事件分派器传送那些产生了事件的套接字
尽管多个文件事件可能会并发出现,但是I/O多路服用程序总是会将所有产生事件的套接字都放到一个列表里面,然后通过这个队列,以有序、同步、每次一个套接字的方式向文件事件分派器传送套接字。当上一个套接字产生的事件被处理完毕之后,I/O多路复用程序才会继续向文件事件分派器传送下一个套接字:
文件事件分派器接受I/O多路复用程序传来的套接字,并根据套接字产生的事件的类型,调用相应的事件处理器。
服务器会为执行不同任务的套接字关联不同的事件处理器,这些处理器是一个个函数,它们定义了某个事件发生时,服务器应该执行的动作。
1.2 I/O多路复用程序的实现
Redis的I/O多路复用程序的所有功能都是通过包装常见的select、epoll、evport、kqueue这些I/O多路复用函数库来实现的,每个I/O多路复用函数库在Redis源码中都对应一个单独的文件。
因为Redis为每个I/O多路复用函数都实现了相同的API,所以I/O多路复用程序的底层实现是可以互相转换的:
1.3 事件的类型
I/O多路复用程序可以监听多个套接字的ae.h/AE_READABLE事件和ae.h/AE_WRITABLE事件,这两类事件和套接字操作之间的对应关系如下:
1)当套接字变得可读时(客户端对套接字执行write,或者执行close),或者有新的可应答套接字出现时(客户端对服务器的监听套接字执行connect操作),套接字产生AE_READABLE事件
2)当套接字变得可写时(客户端对套接字执行read操作),套接字产生AE_WRITABLE事件
I/O多路复用程序允许服务器同时监听套接字的AE_READABLE事件和AE_WRITABLE事件,如果一个套接字同事产生了这两种事件,那么文件事件分派器会优先处理AE_READABLE事件,等到AE_READABLE事件处理完之后,才处理AE_WRITABLE事件。也就是说,套接字又可读又可写的话,那么服务器将先读套接字,后写套接字。
1.4 API
ae.c/aeCreateFileEvent函数接受一个套接字描述符、一个事件类型、一个事件处理器作为参数,将给定套接字的给定事件加入到I/O多路复用程序的监听范围之内,并对事件和事件处理器进行关联。
ae.c/aeDeleteFileEvent函数接受一个套接字描述符、一个监听事件类型作为参数,让I/O多路复用程序取消对给定套接字的给定事件的监听,并取消事件和事件处理器之间的关联。
ae.c/aeGetFileEvent函数接受一个套接字描述符,返回该套接字正在被监听的事件类型:
1)如果套接字没有任何事件被监听,那么函数返回AE_NONE
2)如果套接字的读事件正在被监听,那么函数返回AE_READABLE
3)如果套接字的写事件正在被监听,那么函数返回AE_WRITABLE
4)如果套接字的读事件和写事件正在被监听,那么函数返回AE_READABLEWRITABLE
ae.c/aeWait函数接受一个套接字描述符、一个事件类型、一个毫秒数作为参数,在给定的时间内阻塞并等待套接字的给定类型事件产出,当事件成功产生,或者等待超时之后,函数返回。
ae.c/aeApiPoll函数接受一个sys/time.h/struct timeval结构作为参数,并在规定的时间内,阻塞并等待所有被aeCreateFileEvent函数设置为监听状态的套接字产生文件事件,当有至少一个事件产生,或者等待超时后,函数返回。
ae.c/aeProcessEvents函数是文件事件分派器,它会先调用aeApiPoll函数来等待事件产生,然后遍历所有已产生的事件,并调用相应的事件处理器来处理这些事件
ae.c/aeGetApiName函数返回I/O多路复用程序底层所使用的I/O多路复用函数库的名称
1.5 文件事件的处理器
Redis为文件事件编写了多个处理器,这些事件处理器分别应用于实现不同的网络通信需求。最常用的要数与客户端进行通信的连接应答处理器,命令请求处理器,命令回复处理器。
1)连接应答处理器
networking.c/acceptTcpHandler函数是Redis的连接应答处理器,这个处理器用于对连接服务器监听套接字的客户端进行应答,具体实现为sys/socket.h/accept函数的包装。
当Redis服务器进行初始化的时候,程序会将这个连接应答处理器和服务器监听套接字的AE_READABLE事件关联起来,当有客户端用sys/socket.h/connect函数连接服务器监听套接字的时候,套接字就会产生AE_READABLE事件,引发连接应答处理器执行。
2)命令请求处理器
当一个客户端通过连接应答处理器成功连接到服务器之后,服务器会将客户端的套接字的AE_READABLE事件和命令请求处理器关联起来,当客户端向服务器发送命令请求的时候,套接字就会产生AE_READABLE事件,引发命令请求处理器执行,并执行相应的套接字读入操作。在客户端连接服务器的整个过程中,服务器都会一直为客户端套接字的AE_READABLE事件关联命令请求处理器。
3)命令回复处理器
当服务器有命令回复需要传送给客户端的时候,服务器会将客户端套接字的AE_WRITABLE事件和命令回复处理器关联起来,当客户端准备好接受服务器传回的命令回复时,就会产生AE_WRITABLE事件,引发命令回复处理器执行,并执行相应的套接字写入操作。当命令回复发送完毕之后,服务器就会解除命令回复处理器与客户端套接字的AE_WRITABLE事件之间的关联。
2. 时间事件
Redis时间事件分成2类:定时事件、周期性事件
一个时间事件由三个属性组成:id、when(时间事件的到达时间)、timeProc(时间事件处理器)
判断时间事件是定时事件还是周期性事件,主要看返回值:如果事件处理器返回ae.h/AE_NOMORE,则是定时事件;否则是周期性事件。
Redis只有周期性事件,没有定时事件
2.1实现
服务器将所有时间事件都放在一个无序链表中,每当时间事件执行器运行时,它就遍历整个链表,查询所有已到达的时间事件,并调用相应的事件处理器。
注:此处的无序链表,指的不是不按ID排序,而是不按照when属性大小排序
2.2 API(略)
2.3 应用实例:serverCron函数
Redis服务器需要定期对自身做检查,从而确保服务可以长期稳定的运行,这些定期检查的操作由redis.c/serverCron函数负责执行,它的主要工作包括:
1)更新服务器的各类统计信息
2)清理数据库中的过期键值对
3)关闭和清理链接失效的客户端
4)AOF、RDB持久化
5)主服务器对从服务器的清气同步
6)集群定期同步和连接测试
2.4 事件的调度与执行
因为服务器中同时存在文件事件和时间事件,所以服务器必须对这两种事件进行统一调度:
1)aeApiPoll函数的最大阻塞时间由到达时间最接近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询,也可以确保aeApiPoll函数不会阻塞过长时间
2)因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将在此等待并处理文件事件。随着文件事件的不断执行,时间会逐渐向时间事件所设置的到达时间逼近,并最终来到到达时间,这是服务器就可以开始处理到达的时间事件了。
3)对文件事件和时间事件的处理都是同步、有序、原子的。因为,不过是哪种处理器,都尽可能的减少程序的阻塞时间,并在有需要时让出执行权,从而降低造成事件饥饿的可能性
4)以为时间事件在文件事件之后执行,并且事件之间不会发生抢占,所以时间事件的实际处理时间一遍逗比设定的到达时间稍微晚一点