redis源码分析（5）——aof

前面几篇基本介绍了redis的主要功能、流程，接下来是一些相对独立的部分，首先看一下持久化。redis持久化支持两种方式：RDB和AOF，我们首先看一下AOF的实现。

AOF（Append only file）实际上就是redis的redo log，在重启后，对redo log进行replay以便恢复数据。正常情况下，为了保证一致性，对于每条命令都要保证其对应的log落地到磁盘。即每条命令对应的日志，要写到文件cache，然后再fsync落地磁盘，这样才能保证强一致性，只要写日志失败，此条命令便执行失败。但是，redis本身是基于内存的，同时为了速度，在一致性上进行了折衷。AOF的sync策略分为：

（1）always：对于每条命令都执行fsync，速度慢，但是安全，不会丢数据。

（2）every second：每秒钟执行一次sync，足够快，只会丢失1秒的数据。

（3）never：不进行fsync，完全由os实现数据刷到磁盘，最快，但不能保证数据安全。

随着时间的流逝，redis不断的服务请求，AOF会不断膨胀。一般的db的思路是：snapshot加redo log。定时进行快照，redo log记录当前时间点距上次快照的变化。在恢复时，先加载snapshot，然后再对redo log进行replay。而redis采取的方式略微不同，它会对AOF进行rewrite，就是根据当前状态，生成一份新的AOF，保证每个key只会有一份数据，减少不必要的日志。

写AOF的整体流程是：redis会持有一个aof buffer，这个buffer会记录还没有写到文件的aof日志，在每一轮事件循环，执行更新命令时，都会将命令序列化然后追加到aof buffer。然后，在下一轮事件循环前，调用beforeSleep函数时，会将aof buffer写入到文件。根据sync配置的策略，调用fsync或者调度一个后台job执行fsync。之所以在beforeSleep中执行，是因为写AOF要在响应内容发送到客户端之前，在下一次事件循环会执行写事件处理函数发送响应内容。

AOF rewrite的整体流程是：rewrite流程的启动是在serverCron中，会创建一个子进程，遍历所有db，写到AOF中。同时，开启一个aof rewrite buffer，在命令写入aof buffer时，会判断是否开启rewrite，如果开启，则会同时追加到aof rewrite buffer。在子进程完成rewrite后，会将aof rewrite buffer追加到AOF中，完成aof rewrite。

1. AOF加载

AOF加载的流程要简单些，在启动后，读取AOF，然后将每条命令进行replay即可。下面看一下具体代码。

在redis.c的main函数中，完成初始化后，会调用loadDataFromDisk()完成数据的加载。

/* Function called at startup to load RDB or AOF file in memory. */
void loadDataFromDisk(void) {
    long long start = ustime();
    if (server.aof_state == REDIS_AOF_ON) {
        if (loadAppendOnlyFile(server.aof_filename) == REDIS_OK)
            redisLog(REDIS_NOTICE,"DB loaded from append only file: %.3f seconds",(float)(ustime()-start)/1000000);
    } else {
        if (rdbLoad(server.rdb_filename) == REDIS_OK) {
            redisLog(REDIS_NOTICE,"DB loaded from disk: %.3f seconds",
                (float)(ustime()-start)/1000000);
        } else if (errno != ENOENT) {
            redisLog(REDIS_WARNING,"Fatal error loading the DB: %s. Exiting.",strerror(errno));
            exit(1);
        }
    }
}

根据当前的持久化方式，分别执行aof或者rdb的数据加载。

下面看一下aof加载数据的函数loadAppendOnlyFile，主要是构建一个fake的client，然后从aof文件中解析并执行一条条命令。

    struct redisClient *fakeClient;
    FILE *fp = fopen(filename,"r");
    struct redis_stat sb;
    int old_aof_state = server.aof_state;
    long loops = 0;
    off_t valid_up_to = 0; /* Offset of the latest well-formed command loaded. */

    if (fp && redis_fstat(fileno(fp),&sb) != -1 && sb.st_size == 0) {
        server.aof_current_size = 0;
        fclose(fp);
        return REDIS_ERR;
    }

    if (fp == NULL) {
        redisLog(REDIS_WARNING,"Fatal error: can't open the append log file for reading: %s",strerror(errno));
        exit(1);
    }

    /* Temporarily disable AOF, to prevent EXEC from feeding a MULTI
     * to the same file we're about to read. */
    server.aof_state = REDIS_AOF_OFF;

打开aof文件并检查其大小。 

    // <MM>
    // fakeClient对应的文件描述符为-1
    // 响应时，会据此判断是否需要发送响应内容
    // </MM>
    fakeClient = createFakeClient();
    startLoading(fp);

创建fake的client，对应的fd赋值为-1，在响应时，会判断如果fd不为-1，才会添加写事件处理函数。这里设为-1，避免产生响应内容。startLoading会设置状态信息，具体操作包括：

（1）将redisServer.loading置为1，表示当前正处于数据加载阶段。此时有客户端访问时，会根据loading状态返回“数据正在加载...”。

（2）将当前时间赋值给redisServer.loading_start_time，用以统计数据加载时间。

（3）将aof文件大小赋值给redisServer.loading_total_bytes，用以统计加载进度

接下来是一个while循环，不断的读取命令并执行。下面看一下循环内部。

        int argc, j;
        unsigned long len;
        robj **argv;
        char buf[128];
        sds argsds;
        struct redisCommand *cmd;

        /* Serve the clients from time to time */
        if (!(loops++ % 1000)) {
            loadingProgress(ftello(fp));
            // <MM>
            // 处理部分事件
            // 在启动后，加载aof时，此时监听socket已准备好
            // 调用此函数，可以处理客户端的连接，之后也可以响应客户端的请求
            // </MM>
            processEventsWhileBlocked();
        }

loops记录循环次数，在每执行1000次循环时，会更新一下加载进度。同时，由于加载过程一般比较长，所以此处会调用processEventsWhileBlocked函数，处理文件io事件，避免客户端一直阻塞。这个函数可以完成，客户端连接的建立，同时响应请求（数据正在加载，不完整，所以响应的内容都是返回错误，并提示“数据正在加载...”）。

接下来是读取aof文件并解析出命令。

        // <MM>
        // 读一行，遇到\n
        // </MM>
        if (fgets(buf,sizeof(buf),fp) == NULL) {
            // <MM>
            // 读到eof，加载完毕
            // </MM>
            if (feof(fp))
                break;
            else
                goto readerr;
        }
        // <MM>
        // 处理'*MULTI_BULK_LEN\r\n'
        // </MM>
        if (buf[0] != '*') goto fmte