Redis网络多路IO复用以及底层原理

老早听说过Redis是单线程，但指的是什么单线程，为什么单线程，底层实现原理是什么？

单线程指的是Redis中处理网络请求的模块是单线程处理的，并非指整一个Redis软件都是单线程，肯定有其它线程做其它事情。比如命令的执行等... 执行命令的线程称为worker thread（工作线程）也是一个线程，因为Redis的命令都是读写基于内存的操作，速度非常快，单线程足以应付内存读写，如果引入多线程读写内存先不说效率是否提升，但是会涉及并发安全问题。

Redis提供压测工具 redis-benchmark。

我在自己的阿里云 2cpu 8g 1mb带宽机器进行了以下测试：

• 在同网络同主机内进行 4byte set命令，tps可以达到13w+！！
• 在同局域网不同主机 4byte set也能达到几万的数量级
• 如果是不同公网不同主机的话并发写量级降到 3~4k

可见Redis本身很强很快，但是拖慢效率的是网络IO！

为什么单线程？

首先，网络请求就是处理网络IO，Redis在不同的操作系统上有不同的处理策略，但是都是多路IO复用技术，一般基于Linux上是使用epoll技术，这个epoll处理网络IO非常高效，具有O(1)时间。其次，Redis接收到命令后，执行过程完全基于内存，速度非常快，并不消耗大量cpu时间。所以单线程主要讲的是网络IO模块，下面重点解析这个底层实现原理。

网络IO抽象讲就是网络间的输入与输出，客户端和服务器间的数据传输。在操作系统上表现为 socket 的使用，socket代表了网络IO，一个socke监听一个端口可以接收很多个网络链接。

• socket()
• bind(port)
• listen()
• socket linked = accept()
• read()

这几个系统调用只要学过网络编程就会用过，其中accept()默认阻塞等待客户端连接，有连接到达后返回一个socket()返回，这个socket就是一个文件描述符对象，可以进行读写。而处理网络IO有几种处理模式，阻塞、非阻塞、多路IO复用机制：{ select()、epoll() } 以上IO处理对于用户程序都是同步，因为不管是哪种模式到最后都是用户程序系统调用read()，自己去拷贝数据。

除非使用mmap()或sendfile()等更先进的零拷贝IO API。在网络编程课上学过，阻塞就是当读取一个socket时，假设尚未有数据到达，线程会阻塞住。操作系统内核会将线程挂起，当数据到达才唤醒。非阻塞则会浪费线程的cpu时间，浪费cpu计算资源。过程中必须不断轮询socket。多路IO复用，指一个线程监听多个socket，并且处理的过程。以上如果阻塞式的监听socket效率太低，多线程每个线程监听一个socket，会大量耗费cpu，效率也低，不现实。

多路复用IO就是针对多个流的处理策略，Redis在linux版本使用的就是epoll函数。在mac os中用的是kqueue api。所以Redis在对多个socket监听时，只要哪个socket有命令到达，立即能够以O(1)时间取出命令，交给事件处理器执行命令，返回结果。所以这就是Redis单线程处理网络IO的实现原理。反映到代码层面就是 epoll_wait(epoll文件句柄，epoll事件指针，等待的最大事件数，等待时间)，返回时epoll事件指针就指向了一堆已经发生IO事件的文件描述符，遍历它们就可以读写数据了。

下面引自百度百科介绍

epoll是Linux内核为处理大批量文件描述符而作了改进的poll（这里的优化针对select()，因为select()需要传递大量文件描述符给内核），是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。epoll除了提供select/poll那种IO事件的水平触发（Level Triggered）外，还提供了边缘触发（Edge Triggered），这就使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。

关于epoll的讲解

那么究竟如何来使用epoll呢？其实非常简单。通过在包含一个头文件#include 以及几个简单的API将可以大大的提高你的网络服务器的支持人数。ps: file description 文件描述符简称 fd

首先通过epoll_create(int maxfds)来创建一个epoll的句柄，其中maxfds为你epoll所支持的最大句柄数。这个函数会返回一个新的epoll句柄，之后的所有操作将通过这个句柄来进行操作。在用完之后，记得用close()来关闭这个创建出来的epoll句柄。之后在你的网络主循环里面，每一帧的调用epoll_wait(int epfd, epoll_event *events, int max events, int timeout)来查询所有的网络接口，看哪一个可以读，哪一个可以写了。基本的语法为：

1	nfds=epoll_wait(kdpfd,events,maxevents,-1);

其中kdpfd为用epoll_create创建之后的句柄，events是一个epoll_event*的指针，当epoll_wait这个函数操作成功之后，epoll_events里面将储存所有的读写事件。maxevents是最大事件数量。最后一个timeout是epoll_wait的超时，为0的时候表示马上返回，为-1的时候表示一直等下去，直到有事件发生，为任意正整数的时候表示等这么长的时间，如果一直没有事件，则返回。一般如果网络主循环是单独的线程的话，可以用-1来等，这样可以保证一些效率，如果是和主逻辑在同一个线程的话，则可以用0来保证主循环的效率。

对，epoll的操作就这么简单，总共不过4个API：epoll_create, epoll_ctl, epoll_wait和close。

epoll_wait范围之后应该是一个循环，遍历所有的事件：

int epfd = epoll_create(POLL_SIZE);
struct epoll_event ev;
struct epoll_event *events = NULL;
// epoll_wait() epfd是之前创建epoll_create()返回的文件描述符句柄，当从wait()返回时, nfds就是events中有数据读写事件的数量
while (true) {
    nfds = epoll_wait(epfd, events, 20, 500);
    for (n = 0; n < nfds; ++n) {
        if (events[n].data.fd == listener) {
            //如果是主socket的事件的话，则表示
            //有新连接进入了，进行新连接的处理。client是文件描述符
            client = accept(listener, (structsockaddr *)&local, &addrlen);
            if (client < 0) {
                perror("accept");
                continue;
            }
            setnonblocking(client);        //将新连接置于非阻塞模式
            ev.events = EPOLLIN | EPOLLET; //并且将新连接也加入EPOLL的监听队列。
            //注意，这里的参数EPOLLIN|EPOLLET并没有设置对写socket的监听，
            //如果有写操作的话，这个时候epoll是不会返回事件的，如果要对写操作
            //也监听的话，应该是EPOLLIN|EPOLLOUT|EPOLLET
            ev.data.fd = client;
            if (epoll_ctl(epfd, EPOLL_CTL_ADD, client, &ev) < 0) {
                //设置好event之后，将这个新的event通过epoll_ctl加入到epoll的监听队列里面，
                //这里用EPOLL_CTL_ADD来加一个新的epoll事件，通过EPOLL_CTL_DEL来减少一个
                //epoll事件，通过EPOLL_CTL_MOD来改变一个事件的监听方式。
                fprintf(stderr, "epollsetinsertionerror:fd=%d", client);
                return -1;
            }
        }
        else if(event[n].events & EPOLLIN) {
            //如果是已经连接的用户，并且收到数据，
            //那么进行读入
            int sockfd_r;
            if ((sockfd_r = event[n].data.fd) < 0)
                continue;
            // 有文件描述符发生了数据到达事件，需要用户程序同步调用read()，自己拷贝数据
            read(sockfd_r, buffer, MAXSIZE);
            //修改sockfd_r上要处理的事件为EPOLLOUT
            ev.data.fd = sockfd_r;
            ev.events = EPOLLOUT | EPOLLET;
            epoll_ctl(epfd, EPOLL_CTL_MOD, sockfd_r, &ev)
        }
        else if(event[n].events & EPOLLOUT) {
            //如果有数据发送
            int sockfd_w = events[n].data.fd;
            write(sockfd_w, buffer, sizeof(buffer));
            //修改sockfd_w上要处理的事件为EPOLLIN
            ev.data.fd = sockfd_w;
            ev.events = EPOLLIN | EPOLLET;
            epoll_ctl(epfd, EPOLL_CTL_MOD, sockfd_w, &ev)
        }
        do_use_fd(events[n].data.fd);
    }
}

参考文章：

I/O多路复用机制（Epoll）https://www.iteye.com/blog/uule-2432063

为什么Redis 单线程却能支撑高并发？https://www.cnblogs.com/javazhiyin/p/10823768.html