redis源码分析（6）——aof rewrite

最新推荐文章于 2023-02-07 10:30:43 发布

chosen0ne

最新推荐文章于 2023-02-07 10:30:43 发布

阅读量8.1k

点赞数

分类专栏： C&C++ 源码之路 NoSQL 文章标签： redis 源码 c

本文链接：https://blog.csdn.net/chosen0ne/article/details/44461497

版权

Redis中的AOF重写可以避免AOF文件过大导致的数据恢复效率低下。本文详细介绍了AOF重写触发的时机、重写过程以及AOF重写Buffer的追加操作，包括父进程与子进程的角色分工，以及在serverCron中的触发和清理机制。

摘要由CSDN通过智能技术生成

随着redis的运行，aof会不断膨胀（对于一个key会有多条aof日志），导致通过aof恢复数据时，耗费大量不必要的时间。redis提供的解决方案是aof rewrite。根据db的内容，对于每个key，生成一条日志。aof触发的时机：

1）用户调用BGREWRITEAOF命令

2）aof日志大小超过预设的限额

1. AOF Rewrite触发时机

首先看一下，BGREWRITEAOF的处理函数：

void bgrewriteaofCommand(redisClient *c) {
    if (server.aof_child_pid != -1) {
        addReplyError(c,"Background append only file rewriting already in progress");
    } else if (server.rdb_child_pid != -1) {
        server.aof_rewrite_scheduled = 1;
        addReplyStatus(c,"Background append only file rewriting scheduled");
    } else if (rewriteAppendOnlyFileBackground() == REDIS_OK) {
        addReplyStatus(c,"Background append only file rewriting started");
    } else {
        addReply(c,shared.err);
    }
}

aof_child_pid指示进行aof rewrite进程的pid，rdb_child_pid指示进行rdb dump的进程pid。

1）如果当前正在进行aof rewrite，则返回客户端错误。

2）如果当前正在进行rdb dump，为了避免对磁盘造成压力，将aof_rewrite_scheduled置为1，随后在没有进行aof rewrite和rdb dump时，再开启rewrite。

3）如果当前没有aof rewrite和rdb dump在进行，则调用rewriteAppendOnlyFileBackground进行aof rewrite。

4）异常情况，直接返回错误。

下面，看一下serverCron中是如何触发aof rewrite的。第一个触发点是，避免与rdb dump冲突，延迟触发rewrite。

    /* Start a scheduled AOF rewrite if this was requested by the user while
     * a BGSAVE was in progress. */
    if (server.rdb_child_pid == -1 && server.aof_child_pid == -1 &&
        server.aof_rewrite_scheduled)
    {
        rewriteAppendOnlyFileBackground();
    }

需要确认当前没有aof rewrite和rdb dump在进行，并且设置了aof_rewrite_scheduled，调用rewirteAppendOnlyFileBackground进行aof rewrite。

第二个触发位置是aof文件的大小超过预定的百分比。

         /* Trigger an AOF rewrite if needed */
         if (server.rdb_child_pid == -1 &&
             server.aof_child_pid == -1 &&
             server.aof_rewrite_perc &&
             server.aof_current_size > server.aof_rewrite_min_size)
         {
            long long base = server.aof_rewrite_base_size ?
                            server.aof_rewrite_base_size : 1;
            long long growth = (server.aof_current_size*100/base) - 100;
            if (growth >= server.aof_rewrite_perc) {
                redisLog(REDIS_NOTICE,"Starting automatic rewriting of AOF on %lld%% growth",growth);
                rewriteAppendOnlyFileBackground();
            }
         }

当aof文件超过了预定的最小值，并且超过了上一次aof文件的一定百分比，则会触发aof rewrite。

2. AOF Rewrite

rewrite的大致流程是：创建子进程，获取当前快照，同时将之后的命令记录到aof_rewrite_buf中，子进程遍历db生成aof 临时文件，然后退出；父进程wait子进程，待结束后，将aof_rewrite_buf中的数据追加到该aof文件中，最后重命名该临时文件为正式的aof文件。

下面看具体代码，首先是rewriteAppendOnlyFileBackground。

    pid_t childpid;
    long long start;

    // <MM>
    // 避免同时多个进程进行rewrite
    // </MM>
    if (server.aof_child_pid != -1) return REDIS_ERR;

如果有其他aof rewrite进程正在进行，直接返回错误。

    start = ustime();
    if ((childpid = fork()) == 0) {
        char tmpfile[256];

        /* Child */
        // <MM>
        // 子进程不能接受连接
        // </MM>
        closeListeningSockets(0);
        redisSetProcTitle("redis-aof-rewrite");

        // <MM>
        // 生成临时aof文件名
        // </MM>
        snprintf(tmpfile,256,"temp-rewriteaof-bg-%d.aof", (int) getpid());
        if (rewriteAppendOnlyFile(tmpfile) == REDIS_OK) {
            size_t