Redis的IO原理 -- 基于非阻塞IO的多路复用
非阻塞IO
当使用sockert(TCP使用流socket,UDP使用数据报socket)读写方法,默认是阻塞的,例如read()方法需要传n去调用,表示最多读区n个字节返回,如果一个字节都没有,线程就会等待,直到有数据或者连接关闭;
当我们在socket对象选择non_blocking是,读写方法就不会阻塞,socket的读写就取决于内核给socket分配的缓冲区的字节数,读写方法就会通过返回值告知程序实际读写了多少字节,这就是非阻塞IO。
select事件轮训(多路复用)
非阻塞IO下,线程读数据,读了一部分就返回了,怎么决定何时继续读?线程写数据,缓冲区满了写不下,什么时候继续把剩下的写完?
使用操作系统提供的select函数的事件轮训就是用来解决这个问题的:
select开启循环,轮训是否有读、写、accpet事件,有就handle,handle了就进入定时任务,完了后开启下一个循环。
select(int nfds, fd_set* readset, fd_set* writeset, fe_set* exceptset, struct timeval* timeout);
包括nfds(需要检查的FD个数,最大限制是1024,所以select在fd特别多的时候性能很差),文件读写fdset,异常set,timeout(如果没有事件,就阻塞直到指定时间)
文件描述符(FD):内核(kernel)利用文件描述符(file descriptor)来访问文件。打开现存文件或新建文件时,内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件。
accept:将新连接的fd注册到事件轮训对象
指令队列&响应队列&定时任务
redis对每个客户端socket都安排了一个指令队列顺序处理,first come first serve。
同时每个客户端socket也有一个响应队列进行返回结果给客户端,如果队列为空,就不获取写事件,并且把该客户端从writefds(写描述符列表)里移出来,该客户端对应的队列有数据了,再把fd放进去,避免写空的数据,减少cpu消耗。
除了IO,redis还有其他事情要做,而定时任务就是让redis可以处理其他事情的。而定时任务记录在一个“最小堆的”数据结构中,在堆中,最快要执行的任务排在堆的最上方,每个循环周期内,redis都会对最小堆里已经到时间点的任务进行处理,处理完,将最快要执行的任务还需要的时间记录下来,这个时间就是之前提到的select调用的timeout参数!