Redis如何避免数据丢失？

Redis的持久化主要有两大机制 即 AOF(Append Only File)日志, RDB(Redis DataBase)快照。

AOF

日志是如何实现的？

        AOF是写后日志，就是Redis限制性命令，数据写入内存，然后才记录日志。AOF里记录的是Redis收到的每一条命令，这些命令是以文本形式保存的。

以 set hestkey testvalue 为例  其中*3代表的是有三个部分，每个部分都是由$+数字开头，后面跟着具体的命令，键或者值，这里  数据标识这部分中的命令，键或者值一共有多少个字节，例如$3 set 表示这部分有3个自己，也就是‘set’命令。

 写后日志的优势和风险

为了避免额外的检查开销，Redis在向AOF里面记录日志的时候，并不会先去对这个命令进行语法检查，如果先记录日志再执行命令的话，日志中就存在错误的命令，恢复数据的时候就会出现错误，而写后日志就是让系统先执行命令，只有命令执行成功才会被记录到日志中，否则，系统会直接向客户端报错，

所以Redis使用写后日志一大好处就是可以避免出现记录错误命令的情况。

另外一个好处就是 不会阻塞当前的写操作

但是也会有两个潜在的风险：

1.如果刚执行完一个命令，还没有来得及记录日志就当即了，那么这个命令和相应的数据就会有丢失的风险。如果用作缓存没有关系，如果Redis直接用作数据库的话，因为灭有计入日志，所以就没法用日志进行恢复了。

2.AOF虽然避免了对当前命令的阻塞，但可能会给下一个操作带来阻塞风险

AOF日志也是在主线程中执行（协会策略为always时），如果在把之日文件写入磁盘时，磁盘写压力大，就会导致写盘很慢，进而导致后续的操作也无法进行了。

日志的写回策略

AOF机制一共有三种写回策略，也就是AOF配置项appendfsync的三个可选值

1. Always同步写回 每个写命令执行完 立马听不得将日志写回磁盘

2.Everysec 每秒写回 每个写命令完，只是先把日志写到AOF文件得内存缓冲区，每隔一秒把缓冲区得内容写入磁盘

3.No 操作系统空值的写回 每个写命令执行完，只是先把之日写道AOF文件得内存缓冲区，由操作系统决定何时将缓冲区内容写回磁盘。

日志得重写 

重写得作用：

        AOF是以文件得形式在记录接收到得所有写命令。随着接受得写命令越来越多，AOF文件会越来越大，也就意味着小心AOF文件过大导致得性能问题，主要在于一下三个方面：

1、文件系统本身对文件大小有限制

2.如果文件过大，之后追加记录效率比较低

3.如果发生当即，AOF记录中的命令要一个个被重新执行，用于故障恢复，如果日志文件过大，整个恢复过程会非常还满，会影响到redis得正常使用。

AOF重写机制就是在重写得时候，redis根据数据库得现状创建一个新的AOF文件，也就是说，读取数据库中得所有键值对，然后对每一个键值对用一条命令记录他的写入，重写机制具有多变一得功能，旧日志我呢见得多条命令再重写后得新日志中变成了一条命令

 重写得过程

aof日志由主线程写回不同，重写过程是由一个后台子进程bgrewriteaof来完成的。这也是为了避免阻塞主线程，导致数据库性能下降

重写的过程总结为 一个拷贝，两处日志。

一个拷贝 指的 是 每次执行重写时， 主线程fork出后台的bgwrigtaof子进程，此时，fork会把主线程的内存拷贝一份给bgrewrigteaof 子进程，这里面旧包含了数据库的最新数据，然后 bgrewriteaof子进程就可以在不影响主线程的情况下，逐一把拷贝的数据携程操作，计入重写日志。

第一处日志，指的是因为主线程未阻塞，仍然可以处理新来的操作，Redis会把这个操作写道他的缓冲区，这样以来，即便宕机了，这个AOF日志的操作应然是齐全，

第二处日志，指的就是新的AOF重写日志，这个操作也会被写道重写日志得缓冲区，这样重写日志也不会丢失最新得操作，等到拷贝数据得所有操作记录重写完成后，重写日志记录得这些最新操作也会写入新的aof文件，以保证数据库得最新状态，此时我们就可以用新的AOF文件替换旧文件了。

 

总结来说，每次 AOF 重写时，Redis 会先执行一个内存拷贝，用于重写；然后，使用两个日志保证在重写过程中，新写入的数据不会丢失。而且，「因为 Redis 采用子进程进行日志重写，所以，这个过程并不会阻塞主线程」。

正因为记录的是操作命令，而不是实际的数据，所以，用 AOF 方法进行故障恢复的时候，需要逐一把操作日志都执行一遍。如果操作日志非常多，Redis 就会恢复得很缓慢，影响到正常使用。这当然不是理想的结果。那么，还有没有既可以保证可靠性，还能在宕机时实现快速恢复的其他方法呢？

RDB

对 Redis 来说，它实现类似照片记录效果的方式，把某一时刻的状态以文件的形式写到磁盘上，也就是快照（RDB 文件）。这样一来，即使宕机，快照文件也不会丢失，数据的可靠性也就得到了保证。

和 AOF 相比，RDB 记录的是某一时刻的数据，并不是操作，所以，在做数据恢复时，我们可以直接把 RDB 文件读入内存，很快地完成恢复。

快照的原理

Redis 提供了两个命令来生成 RDB 文件，分别是 save 和 bgsave。

• 「save」：在主线程中执行，会导致阻塞；

• 「bgsave」：创建一个子进程，专门用于写入 RDB 文件，避免了主线程的阻塞，这也是 Redis RDB 文件生成的默认配置。

我们可以通过 bgsave 命令来执行全量快照，这既提供了数据的可靠性保证，也避免了对 Redis 的性能影响。

在执行快照的同时，Redis 就会借助操作系统提供的写时复制技术（Copy-On-Write, COW），正常处理写操作。bgsave 子进程是由主线程 fork 生成的，可以共享主线程的所有内存数据。bgsave 子进程运行后，开始读取主线程的内存数据，并把它们写入 RDB 文件。

如果主线程对这些数据也都是读操作（例如图中的键值对 A），那么，主线程和 bgsave 子进程相互不影响。但是，如果主线程要修改一块数据（例如图中的键值对 C），那么，这块数据就会被复制一份，生成该数据的副本（键值对 C’）。然后，主线程在这个数据副本上进行修改。同时，bgsave 子进程可以继续把原来的数据（键值对 C）写入 RDB 文件。

这样既保证了快照的完整性，也允许主线程同时对数据进行修改，避免了对正常业务的影响。

 

混合 AOF/RDB

虽然 bgsave 执行时不阻塞主线程，但是，如果频繁地执行全量快照，也会带来两方面的开销。

一方面，频繁将全量数据写入磁盘，会给磁盘带来很大压力，多个快照竞争有限的磁盘带宽，前一个快照还没有做完，后一个又开始做了，容易造成恶性循环（所以，在 Redis 中如果有一个 bgsave 在运行，就不会再启动第二个 bgsave 子进程）。

另一方面，bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然，子进程在创建后不会再阻塞主线程，但是，「fork 这个创建过程本身会阻塞主线程」，而且主线程的内存越大，阻塞时间越长。

Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说，「内存快照以一定的频率执行，在两次快照之间，使用 AOF 日志记录这期间的所有命令操作」。这样一来，快照不用很频繁地执行，这就避免了频繁 fork 对主线程的影响。而且，AOF 日志也只用记录两次快照间的操作，也就是说，不需要记录所有操作了，因此，就不会出现文件过大的情况了，也可以避免重写开销。