Redis 3种持久化机制

最新推荐文章于 2024-09-07 15:45:45 发布

妖怪兮诺‍

最新推荐文章于 2024-09-07 15:45:45 发布

阅读量888

点赞数 21

本文链接：https://blog.csdn.net/weixin_44045132/article/details/140822423

版权

数据库专栏收录该内容

31 篇文章 0 订阅

订阅专栏

使用缓存的时候，我们经常需要对内存中的数据进行持久化也就是将内存中的数据写入到硬盘中。大部分原因是为了之后重用数据（比如重启机器、机器故障之后恢复数据），或者是为了做数据同步（比如 Redis 集群的主从节点通过 RDB 文件同步数据）。

快照（snapshotting, RDB）

什么是RDB持久化？

Redis 通过创建快照来获得存储在内存里面的数据在 某个时间点 上的副本。

快照持久化是 Redis 默认采用的持久化方式，在 redis.conf 配置文件中默认有此下配置

save 900 1           #在900秒(15分钟)之后，如果至少有1个key发生变化，Redis就会自动触发bgsave命令创建快照。

save 300 10          #在300秒(5分钟)之后，如果至少有10个key发生变化，Redis就会自动触发bgsave命令创建快照。

save 60 10000        #在60秒(1分钟)之后，如果至少有10000个key发生变化，Redis就会自动触发bgsave命令创建快照。

RDB 创建快照会阻塞主线程吗？
Redis 提供了两个命令来生成 RDB 快照文件

save：同步保存操作，会阻塞Redis主线程
bgsave： fork出一个子进程，子进程执行，不会阻塞 Redis 主线程，默认选项。

只追加文件（append-only file, AOF）

什么是 AOF 持久化

与快照持久化相比，AOF持久化的时效性更好。默认情况下 Redis 没有开启 AOF 方式的持久化（Redis 6.0之后已经默认是开启了），可以通过 appendonly 参数开启

appendonly yes

开启 AOF 持久化后没执行一条会更改 Redis 中的数据的命令，Redis 就会将该命令写入到 AOF 缓冲区 server.aof_buf 中，然后再写入到 AOF 文件中（此时还在啊系统内核缓存区并未同步到磁盘），最后再根据持久化方式（fsync 策略）的配置来决定何时将系统内核缓存区的数据同步到硬盘中。

只有同步到磁盘中才算持久化保存了，否则依然存在数据丢失的风险。比如：系统内核缓存区的数据还未同步，磁盘机器就宕机了，那这部分数据就算丢失了。

AOF 文件的保存位置和 RDB 文件的位置相同，都是通过 dir 参数配置的，默认的文件名是 appendonly.aof。

AOF 工作基本流程

AOF 持久化功能的实现可以简单分为5步：

命令追加（append）：所有的写命令会追加到 AOF 缓冲区中。
文件写入（write）：将 AOF 缓冲区的数据写入到 AOF 文件中。这一步需要调用write函数（系统调用），write将数据写入到了系统内核缓冲区之后直接返回了（延迟写）。注意！！！此时并没有同步到磁盘。
文件同步（fsync）：AOF 缓冲区根据对应的持久化方式（ fsync 策略）向硬盘做同步操作。这一步需要调用 fsync 函数（系统调用）， fsync 针对单个文件操作，对其进行强制硬盘同步，fsync 将阻塞直到写入磁盘完成后返回，保证了数据持久化。
文件重写（rewrite）：随着 AOF 文件越来越大，需要定期对 AOF 文件进行重写，达到压缩的目的。
重启加载（load）：当 Redis 重启时，可以加载 AOF 文件进行数据恢复。

AOF 持久化方式

在 Redis 的配置文件中存在三种不同的 AOF 持久化方式（fsync 策略）：

appendfsync always：主线程调用 wirte 执行写操作后，后台线程（aof_fsync 线程）立即会调用 fsync 函数同步 AOF 文件（刷盘）， fsync 完成后线程返回，这样会严重降低 Redis 的性能（write+fsync）
appendfsync everysec：主线程调用 write 执行写操作后立即返回，由后台线程（ aof_fsync 线程）每秒钟调用 fsync 函数（系统调用）同步一次 AOF 文件（write+fsync，fsync间隔为 1 秒）
appendfsync no：主线程调用 write 执行写操作后立即返回，让操作系统决定何时进行同步，Linux 下一般为 30 秒一次（write但不fsync，fsync 的时机由操作系统决定

可以看出：这3种持久化方式的主要区别在于 fsync 同步 AOF 文件的时机（刷盘）

为了兼顾数据和写入性能，可以考虑 appendfsync everysec 选项，让 Redis 每秒同步一次 AOF 文件，Redis 性能受到的影响较小。而且这样即使出现系统崩溃，用户最多只会丢失一秒之内产生的数据。当硬盘忙于执行写入操作的时候，Redis 还会优雅的放慢自己的速度以便适应硬盘的最大写入速度。

从 Redis 7.0.0 开始，Redis 使用了 Multi Part AOF 机制。顾名思义，Multi Part AOF 就是将原来的单个 AOF 文件拆分成多个 AOF 文件。在 Multi Part AOF 中，AOF 文件被分为三种类型，分别为：

BASE：表示基础 AOF 文件，它一般由子进程通过重写产生，该文件最多只有一个
INCR：表示增量 AOF 文件，它一般会在 AOFRW 开始执行时被创建，该文件可能存在多个
HISTORY：表示历史 AOF 文件，它由 BASE 和 INCR AOF 变化而来，每次 AOFRW 成功完成时，本次 AOFRW 之前对应的 BASE 和 INCR AOF 都将变为 HISTORY，HISTORY 类型的 AOF 会被 Redis 自动删除

AOF 为什么是在执行完命令之后记录日志

免额外的检查开销，AOF 记录日志不会对命令进行语法检查
在命令执行完之后再记录，不会阻塞当前的命令执行

风险

如果刚执行完命令 Redis 就宕机会导致对应的修改丢失
可能会阻塞后续其他命令的执行（AOF 记录日志是在 Redis 主线程中进行的）

AOF 重写（rewrite）

当 AOF 变得太大时，Redis 能够在后台自动重写 AOF 产生一个新的 AOF 文件，这个新的 AOF 文件和原有的 AOF 文件所保存的数据库状态一样，但体积更小（瘦身的过程）

由于 AOF 重写会进行大量的写入操作，为了避免对 Redis 正常处理命令请求造成影响，Redis 将 AOF 重写程序放到子进程里执行。

AOF 文件重写期间，Redis 还会维护一个 AOF 重写缓冲区，该缓冲区会在子进程创建新 AOF 文件期间，记录服务器执行的所有写命令。当子进程完成创建新 AOF 文件的工作之后，服务器会将重写缓冲区中的所有内容追加到新 AOF 文件的末尾，使得新的 AOF 文件保存的数据库状态与现有的数据库状态一致。最后，服务器用新的 AOF 文件替换旧的 AOF 文件，以此来完成 AOF 文件重写操作。

开启 AOF 重写功能，可以调用 BGREWRITEAOF 命令手动执行，也可以设置下面两个配置项，让程序自动决定触发时机：

auto-aof-rewrite-min-size：如果AOF文件大小小于该值，则不会触发 AOF 重写。默认值为 64MB。
auto-aof-rewrite-percentage：执行 AOF 重写时，当前 AOF 大小aof_current_size）和上一次重写时 AOF 大小（aof_base_size）的比值。如果当前 AOF 文件大小增加了这个百分比值，将触发 AOF 重写。将此值设置为 0 将禁用自动 AOF 重写。默认值为 100。

AOF 校验机制

AOF 校验机制是 Redis 在启动时对 AOF 文件进行检查，以判断文件是否完整，是否有损坏或者丢失的数据。这个机制的原理其实非常简单，就是通过使用一种叫做 校验和（checksum） 的数字来验证 AOF 文件。这个校验和是通过对整个 AOF 文件内容进行 CRC64 算法计算得出的数字。如果文件内容发生了变化，那么校验和也会随之改变。因此，Redis 在启动时会比较计算出的校验和与文件末尾保存的校验和（计算的时候会把最后一行保存校验和的内容给忽略掉），从而判断 AOF 文件是否完整。如果发现文件有问题，Redis 就会拒绝启动并提供相应的错误信息。AOF 校验机制十分简单有效，可以提高 Redis 数据的可靠性。

RDB 和 AOF 的混合持久化（Redis 4.0 新增）

由于 RDB 和 AOF 各有优势，于是，Redis 4.0 开始支持 RDB 和 AOF 的混合持久化（默认关闭，可以通过配置项 aof-use-rdb-preamble 开启）。

如果把混合持久化打开，AOF 重写的时候就直接把 RDB 的内容写到 AOF 文件开头。这样做的好处是可以结合 RDB 和 AOF 的优点, 快速加载同时避免丢失过多的数据。当然缺点也是有的， AOF 里面的 RDB 部分是压缩格式不再是 AOF 格式，可读性较差。

如何选择 RBD 和 AOF

RDB 比 AOF 优秀的地方

RDB 文件存储的内容是经过压缩的二进制数据，保存着某个时间点的数据集，文件很小，适合做数据的备份，容灾恢复。而 AOF 文件存储的是每一次写命令，类似 MySQL的 binlog 日志，通常会比 RDB 文件大很多。
使用 RDB 文件恢复数据，直接解析还原数据即可，不需要一条一条的执行命令，速度非常快。而 AOF 则需要依次执行每个写命令，速度非常慢。也就是说，与 AOF 相比，回复大数据集的时候，RDB 速度更快。

AOF 比 RBD 优秀的地方

RDB 的数据安全性不如 AOF，没有办法实时或者秒级持久化数据。生成 RDB文件的过程是比较繁重的，虽然 BGSAVE 子进程写入 RDB 文件的工作不会阻塞主线程，但会对机器的 CPU 资源和内存资源产生影响，严重的情况下甚至会直接把 Redis 服务干宕机。AOF 支持秒级数据丢失（取决 fsync 策略，如果是 everysec，最多丢失 1 秒的数据），仅仅是追加命令到 AOF 文件，操作轻量。
RDB 文件是以特定的二进制格式保存的，并且在 Redis 版本演进中有多个版本的 RDB，所以存在老版本的 Redis 服务不兼容新版本的 RDB 格式的问题。
AOF 以一种易于理解和解析的格式包含所有操作的日志。你可以轻松地导出 AOF 文件进行分析，你也可以直接操作 AOF 文件来解决一些问题。比如，如果执行FLUSHALL命令意外地刷新了所有内容后，只要 AOF 文件没有被重写，删除最新命令并重启即可恢复之前的状态。