redis-AOF持久化

redis-AOF持久化

除了RDB持久化功能之外，Redis还提供了AOF（Append Only File）持久化功能。与RDB持久化通过保存数据库中的键值对来记录数据库状态不同，AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的

• Redis 服务器在进行 AOF 持久化时， 客户端、服务器与 AOF 文件之间的互动

  

• 实现

  AOF持久化功能的实现可以分为命令追加（append）、文件写入、文件同步（sync）三个步骤

  • 命令追加

    • 当AOF持久化功能处于打开状态时，服务器在执行完一个写命令之后，会以协议格式将被执行的写命令追加到服务器状态的aof_buf缓冲区的末尾

      struct redisServer {
          ...
          // 缓冲区，本质上是一个动态字符串
        	sds aof_buf;      /* AOF buffer, written before entering the event loop */
          ...
      };
      
      

      如果客户端向服务器发送以下命令

      set key valueCopy
      

      那么服务器在执行这个SET命令之后，会将以下协议内容追加到aof_buf缓冲区的末尾

      

  • 写入

    Redis的服务器进程就是一个事件循环（loop），这个循环中的文件事件负责接收客户端的命令请求，以及向客户端发送命令回复，而时间事件则负责执行像serverCron函数这样需要定时运行的函数

    因为服务器在处理文件事件时可能会执行写命令，使得一些内容被追加到aof_buf缓冲区里面，所以在服务器每次结束一个事件循环之前，它都会调用flushAppendOnlyFile函数，考虑是否需要将aof_buf缓冲区中的内容写入和保存到AOF文件里面

• AOF 文件的载入过程

  因为AOF文件里面包含了重建数据库状态所需的所有写命令，所以服务器只要读入并重新执行一遍AOF文件里面保存的写命令，就可以还原服务器关闭之前的数据库状态

  还原步骤

  • 创建一个不带网络连接的伪客户端（fake client）:因为Redis的命令只能在客户端上下文中执行，而载入AOF文件时所使用的命令直接来源于AOF文件而不是网络连接，所以服务器使用了一个没有网络连接的伪客户端来执行AOF文件保存的写命令，伪客户端执行命令的效果和带网络连接的客户端执行命令的效果完全一样
  • 从AOF文件中分析并读取出一条写命令
  • 使用伪客户端执行被读出的写命令
  • 一直执行上面两步，直到AOF文件中的所有写命令都被处理完毕为止

  

• 在进行 AOF 重写时， 服务器会同时将命令发送给 AOF 文件和 AOF 重写缓冲区

  • 为什么需要重写

    因为AOF持久化是通过保存被执行的写命令来记录数据库状态的，所以随着服务器运行时间的流逝，AOF文件中的内容会越来越多，文件的体积也会越来越大，如果不加以控制的话，体积过大的AOF文件很可能对Redis服务器、甚至整个宿主计算机造成影响，并且AOF文件的体积越大，使用AOF文件来进行数据还原所需的时间就越多。

  • 重写的实现

    Redis将生成新AOF文件替换旧AOF文件的功能命名为“AOF文件重写”，但实际上，AOF文件重写并不需要对现有的AOF文件进行任何读取、分析或者写入操作，这个功能是通过读取服务器当前的数据库状态来实现的

  • 后台重写（bgrewriteaof）

    • 为了避免出现AOF重写出现服务器无法处理请求的情况，所以Redis决定将AOF重写程序放到子进程里执行，这样做可以有以下两个目的
      • 子进程进行AOF重写期间，服务器进程（父进程）可以继续处理命令请求
      • 子进程带有服务器进程的数据副本，使用子进程而不是线程，可以在避免使用锁的情况下，保证数据的安全性
    • 不过，使用子进程也有一个问题需要解决，因为子进程在进行AOF重写期间，服务器进程还需要继续处理命令请求，而新的命令可能会对现有的数据库状态进行修改，从而使得服务器当前的数据库状态和重写后的AOF文件所保存的数据库状态不一致
    • 为了解决这种数据不一致问题，Redis服务器设置了一个AOF重写缓冲区（保存了子进程在重写过程中，主进程执行的操作），这个缓冲区在服务器创建子进程之后开始使用，当Redis服务器执行完一个写命令之后，它会同时将这个写命令发送给AOF缓冲区和AOF重写缓冲区。
    • 在子进程执行AOF重写期间，服务器进程需要执行以下三个工作
      • 执行客户端发来的命令
      • 将执行后的写命令追加到AOF缓冲区
      • 将执行后的写命令追加到AOF重写缓冲区