Redis的AOF持久化详解

Redis提供了AOF持久化功能，大多数情况下，AOF持久化的频率要比RDB持久化执行频率更高，所以AOF持久化记录的数据要比RDB文件记录的数据更新一些。AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的。

一.AOF持久化的实现

AOF持久化功能的实现可以分为命令追加，文件写入，文件同步三个步骤。

1.命令追加

当AOF持久化功能处于打开状态时，服务器在执行完一个写命令之后，会以协议格式将被执行的写命令追加到服务器状态的aof_buf缓冲区的末尾。

2.AOF文件的写入和同步

Redis服务器进程就是一个事件循环，这个循环中的文件事件负责处理客户端的命令请求，以及向客户端发送命令回复，而时间事件则负责执行像serverCron函数这样需要定时运行的函数。

因为服务器在处理文件事件时可能会执行写命令，使得一些内容被追加到aof_buf缓冲区的里面，所以在服务器每次结束一个事件循环之前，都会调用flushAppendOnlyFile函数，考虑是否需要将aof_buf缓冲区中的内容写入和保存到AOF文件里面。flushAppendOnlyFile函数的行为由服务器配置的appendfsync的值来决定，主要包括三个配置

always：将aof_buf缓冲区中的所有内容写入并同步到AOF文件。

everysec:将aof_buf缓冲区中的所有内容写入到AOF文件，如果上次同步AOF文件的时间距离现在超过一秒钟，那么在此对AOF文件进行同步，这个同步操作由一个线程专门负责。

no:将aof_buf缓冲区中的所有内容写入到AOF文件，但并不对AOF文件进行同步，何时同步由操作系统来决定。

Redis服务器默认配置为everysec。

这里介绍下文件的写入和同步的区别。为了提高文件的写入效率，当用户调用write函数，将一些数据写入到文件的时候，操作系统通常会将写入数据暂时保存在一个内存缓冲区里面，等到缓冲区的空间被填满或者超过了指定的时限之后，才真正地将缓冲区中的数据写入到磁盘里面。这种方法提高了效率，不过对数据安全带来了一定问题，如果计算机宕机了，那么保存在内存缓冲区里面的写入数据将会丢失。为此，系统提供了fsync和fdatasync函数可以强制让操作系统立即将缓冲区中的数据写入到磁盘。

3.AOF文件的载入与数据还原

因为AOF文件里面包含了重建数据库状态所需的所有写命令，所以服务器只要读入并重新执行一遍AOF文件里面保存的写命令，就可以还原服务器关闭之前的数据库状态。

二.AOF文件重写

因为AOF持久化是通过保存所有被执行的写命令来记录数据库状态的，所以随着服务器运行时间的增加，AOF文件的内容会越来越多，文件的体积也会越来越大，体积过大的AOF文件很可能会对Redis服务器产生影响，并且AOF体积过大，使用AOF文件还原数据所需时间就会过长。

举个例子：如果客户端执行了以下命令：

rpush list A B //A B

rpush list C  //A B C

rpush list D E //A B C D E

lpop list  //B C D E

lpop list //C D E

rpush list F G //C D E F G

因为我们对这个list执行了六次操作，所以AOF文件里也会追加六条命令，实际应用情况远比上面的例子复杂，所以AOF文件会有很多冗余的命令，造成严重的问题。

为了解决AOF文件体积膨胀的问题，Redis提供了AOF文件重写功能，通过该功能，Redis服务器可以创建一个新的AOF文件来替代现有的AOF文件，新旧两个AOF文件所保存的数据库状态相同，但新AOF文件不会包含任何浪费空间的冗余命令，所以新AOF文件的体积通常比旧AOF文件的体积要小得多。

1.AOF文件重写的实现

AOF文件重新不会读取，写入老的AOF文件，而是通过直接从数据库中获取键的值，然后用一条命令替代保存在AOF文件中的多条命令。如上面的list例子，服务器会直接读取list的值(C,D,E,F,G)，生成一条rpush list C D E F G命令。

AOF文件重写是通过遍历数据库中的所有键(忽略掉已过期)，根据键的类型不同，调用不同函数进行重写命令，这种实现方式不会包含任何冗余的命令，大大减小了AOF文件的大小。

2.AFO后台重写

由于AOF重写会进行大量的写入操作，所以调用这个函数会被长时间阻塞，这样会造成服务器无法处理客户端发来的命令请求，是绝对不能允许的。所以Redis觉得将AOF文件重写程序放到子进程里执行，这样AOF文件重写期间，服务器可以继续处理客户端请求。不过使用子进程有一个问题要解决，就是AOF文件重写期间，服务器进程还需要继续处理命令请求，而新的命令可能会对现有的数据库状态进行修改，导致服务器数据库状态和重写后的AOF文件数据库状态不一致。为了解决这种数据不一致的问题，Redis服务器设置了一个AOF重写缓冲区，这个缓冲区在服务器创建子进程之后开始使用，当Redis服务器执行完一个写命令之后，会同事将这个写命令发送给AOF缓冲区和AOF重写缓冲区。在子进程完成AOF重写工作之后，会向父进程发送一个信号，父进程接收到信号之后，会调用一个函数将AOF重写缓冲区的所有内容写入到新AOF文件中，将新的AOF文件进行改名，覆盖现有AOF文件。

参考内容：Redis设计与实现-黄健宏