Redis 持久化：AOF 日志

最新推荐文章于 2024-09-27 15:45:04 发布

向北~

最新推荐文章于 2024-09-27 15:45:04 发布

阅读量197

点赞数

分类专栏： Redis 文章标签： redis 数据库缓存

本文链接：https://blog.csdn.net/weixin_63769882/article/details/129934628

版权

Redis 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

文章介绍了Redis的AOF日志如何实现数据持久化，包括其写后日志机制、三种不同的写回策略（Always、Everysec、No）以及AOF重写机制，旨在防止服务器宕机导致的数据丢失。AOF重写通过后台子进程完成，避免阻塞主线程，减少日志文件大小并保持数据一致性。

摘要由CSDN通过智能技术生成

一个解决方案是，从后端数据库恢复这些数据，但会存在两个问题：一是，需要频繁访问数据库，会给数据库带来巨大的压力；二是，这些数据是从慢速数据库中读取出来的，性能肯定比不上从Redis 中读取，导致使用这些数据的应用程序响应变慢。

所以，Redis 采用 AOF 日志和 RDB 快照来实现数据持久化，本篇文章主要介绍 AOF 日志相关的知识。

AOF日志是如何实现的

数据库的日志是写前日志(Write Ahead Log,WAL) ，即在实际写数据前，先把修改的数据记到日志文件中，以便故障时进行恢复。AOF(append of file)日志是写后日志，即是Redis是先执行命令，把数据写入内存，然后才记录日志。

AOF里记录的是 Redis 收到的每一条命令，这些命令是以文本形式保存的。

为了避免额外的检查开销，Redis在向AOF里面记录日志的时候，不会先去对这些命令进行语法检查。所以，如果先记日志再执行命令的话，日志中就有可能记录了错误的命令，Redis在使用日志恢复数据时，就可能会出错。

而写后日志这种方式，就是先让系统执行命令，只有命令能执行成功，才会被记录到日志中，否则，系统就会直接向客户端报错。所以， Redis使用写后日志这一方式的一大好处是，可以避免出现记录错误命令的情况。

除此之外，AOF还有一个好处：它是在命令执行后才记录日志，所以不会阻塞当前的写操作。

有两个潜在的风险：

如果刚执行完一个命令，还没有来得及记日志就宕机了，那么这个命令和相应的数据就有丢失的风险。如果此时 Redis 是用作缓存，还可以从后端数据库重新读入数据进行恢复，但是，如果Redis是直接用作数据库的话，此时，因为命令没有记入日志，所以就无法用日志进行恢复了。
AOF虽然避免了对当前命令的阻塞，但可能会给下一个操作带来阻塞风险。这是因为，AOF日志也是在主线程中执行的，如果在把日志文件写入磁盘时，磁盘写压力大，就会导致写盘很慢，进而导致后续的操作也无法执行了。

这两个风险都与 AOF 写回磁盘的时机相关的。

三种写回策略

AOF 的写回机制给我们提供了三个选择，即 AOF 配置项 appendfsync 的三个可选值。

Always，同步写回：每个写命令执行完，立马同步地将日志写回磁盘;
Everysec，每秒写回：每个写命令执行完，只是先把日志写到AOF文件的内存缓冲区，每隔一秒把缓冲区中的内容写入磁盘;
No，操作系统控制的写回：每个写命令执行完，只是先把日志写到AOF文件的内存缓冲区，由操作系统决定何时将缓冲区内容写回磁盘。

整理成表格的形式：

配置项	写回时机	优点	缺点
Always	同步写回	可靠性高，数据基本不丢失	每个写命令都要落盘，性能影响较大
Everysec	每秒写回	性能适中	宕机时丢失1秒内的数据
No	由操作系统控制写回	性能好	宕机时丢失数据较多

总结：想要获得高性能，就选择No策略；如果想要得到高可靠性保证，就选择Always 策略；如果允许数据有一点丢失，又希望性能别受太大影响的话，那么就选择Everysec策略。

AOF 重写机制

AOF文件过大会带来性能问题。主要在于以下三个方面：

文件系统本身对文件大小有限制，无法保存过大的文件；
如果文件太大，之后再往里面追加命令记录的话，效率也会变低；
如果发生宕机，AOF中记录的命令要一个个被重新执行，用于故障恢复，如果日志文件太大，整个恢复过程就会非常缓慢，这就会影响到 Redis 的正常使用。

所以就有了 AOF 重写机制，AOF重写机制就是在重写时，Redis根据数据库的现状创建一个新的AOF文件，也就是说，读取数据库中的所有键值对，然后对每一个键值对用一条命令记录它的写入。比如说，当读取了键值对”testkey":“testvalue”之后，重写机制会记录set testkey testvalue这条命令。这样，当需要恢复时，可以重新执行该命令，实现“testkey" : "testvalue”的写入。

重写机制具有**“多变一”**功能。即旧日志文件中的多条命令，在重写后的新日志中变成了一条命令。

AOF文件是以追加的方式，逐一记录接收到的写命令的。

AOF重写后，日志文件会缩小，但是，要把整个数据库的最新数据的操作日志都写回磁盘，仍然是一个非常耗时的过程。就要关注另一个问题了：重写会不会阻塞主线程?

和AOF日志由主线程写回不同，重写过程是由后台子进程 bgrewriteaof 来完成的，这也是为了避免阻塞主线程，导致数据库性能下降。

重写的过程为**“一个拷贝，两处日志”**。

“一个拷贝”是指，每次执行重写时，主线程 fork 出后台的 bgrewriteaof 子进程。此时， fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程，这里面就包含了数据库的最新数据。然后，bgrewriteaof 子进程就可以在不影响主线程的情况下，逐一把拷贝的数据写成操作，记入重写日志。

“两处日志”：

因为主线程未阻塞，仍然可以处理新来的操作。此时，如果有写操作，第一处日志就是指正在使用的AOF日志，Redis 会把这个操作写到它的缓冲区。这样一来，即使宕机了，这个AOF日志的操作仍然是齐全的，可以用于恢复。

而第二处日志，就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这样，重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后，重写日志记录的这些最新操作也会写入新的 AOF 文件，以保证数据库最新状态的记录。此时就可以用新的 AOF 文件替代旧文件了。