redis之aof持久化

调研：aof持久化

1.aof.c

2 aof重写

问题提出：

(1)、rdb持久化分为save和bgsave（fork子进程，非阻塞），如果是bgsave在生成rdb文件的过程中能否接收client的写命令‘w’，写时复制？

应该不允许，否则，内存中的数据库状态会改变，不符合point-in-time快照。（开组会讨论，不允许）

(2)、rdb（备份checkpoint，roll-back）通过serverCron周期性（判断条件）生成新的dump.rdb文件（数据库某个时刻的快照point-in-time），aof重写作用既然也是生成数据库快照文件，那么aof重写的用途体现在哪？aof文件里面执行的写命令，为避免内容冗余，即同一个键的多次操作可以合并成一个，所以执行aof重写(（数据库某个时刻的快照point-in-time)，但是rdb持久化已经实现该功能，何必使用aof重写，难道是弥补rdb持久化的不足，即bgsave过程中，满足可用性要求，即纪录写操作？

rewriteaof（父进程执行,阻塞），bgrewriteaof(子进程重写aof文件，父进程仍能响应client“w”，不会造成数据不一致的原因是fork时刻子进程会cp父进程持有的资源，尤其是point-in-time状态，+ aof重写缓冲区)。

      提供更强的持久化支持，确保当前时刻与数据库的状态完全吻合。同时保证可用性，即在写aof文件时仍能执行写操作（是否在同步点，允许对内存数据库状态进行修改，允许）。

（3）、（2）的问题变体，每次生成rdb文件之后删除aof文件，aof文件仅用于记录两次dump.rdb文件的变化。

  fsync对于RAID hardware和sata的策略不同，分别为write-through和write-back，与durablity有关（不清楚）。

aof持久化功能：

1、粒度更小，aof文件记录写操作，appendfsync指定always、everysec、no设置写操作到disk上的写操作频率，相比rdb持久化条件设置server.saveparams<时间间隔、变化数>，能更好的应对系统崩溃，支持durability；

2、持久能力更强，设置list *aof_rewrite_buf_blocks（aof重写生成数据库快照过程中的修改）和sds aof_buf（redis.c#beforeSleep调用flushAppendOnlyFile）。其中，aof持久化提供的唯一命令bgrewriteaof，执行流程如图1所示

                                                                                       图1

①后台fork子进程重写aof文件，将aof文件持久化到disk；同时，父进程仍能响应client请求，包括写操作，具体地，将命令写到server.aof_rewrite_buf_blocks（aof重写缓冲区）和server.aof_buf（aof缓冲区）；

②步骤①结束后，在server.el的serverCron（周期性事件）中调用backgroundRewriteDoneHandle将重写缓冲区内容刷到disk上的aof文件；

③aof重写完成后，新的aof文件替代旧aof文件，同时server.aof_buf同步到新的aof文件。注意：重写是绝对安全的，因为，Redis使用创建当前数据集所需的最小操作集合来创建一个全新aof文件，还会继续往旧的aof文件中追加写命令，一旦第二个文件创建完毕，Redis 才会切换这两个文件，开始往新文件追加client写命令。

3、aof_child_pid触发时机，Redis AOF 是通过递增地更新一个已经存在的状态，像 MySQL 或者 MongoDB 一样.

redis.conf #auto-aof-rewrite-min-size 64mb

redis.c#server.aof_rewrite_min_size redis.h#REDIS_AOF_REWRITE_MIN_SIZE64MB，代码实现如图2

                 

                                                                                       图2

aof.c#if(server.aof_rewrite_incremental_fsync)

       rioSetAutoSync(&aof,REDIS_AOF_AUTOSYNC_BYTES); //32MB 重写缓冲区的大小达到32MB自动刷到disk上的aof文件

 

aof文件格式，启动aof模式方式：

1、*/src:$./redis-server path/redis.conf 配置文件中设置参数appendonlyyes

2、*/src:$ ./redis-server --appendonly yes

查看aof文件，缺省命名appendonly.aof

                                       

debug.c中包含softwarewatchdog，包含阶段：“开门放狗----定期喂狗-----狗会咬人”

http://oldblog.antirez.com/post/redis-persistence-demystified.html

上面bog的中文链接http://blog.nosqlfan.com/html/3813.html

链3 http://monolight.cc/2011/06/barriers-caches-filesystems/