逐字节讲解 Redis 持久化（RDB 和 AOF）的文件格式

已于 2023-11-22 08:27:33 修改
阅读量705 收藏 4
点赞数 2
分类专栏： Redis 文章标签： redis 数据库 缓存
于 2023-11-20 10:34:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41698074/article/details/134502045
版权

前言

相信各位对 Redis 的这两种持久化机制都不陌生，简单来说，RDB 就是对数据的全量备份，AOF 则是增量备份，而从 4.0 版本开始引入了混合方式，以 7.2.3 版本为例，会生成三类文件：RDB、AOF 和记录 aof 文件的元数据信息文件，如下图所示，这时的 AOF 可以看作是一种差异备份。

image-20231117142130770

接下来本文将结合具体的备份文件，通过分析其结构，从另一种角度来看两种持久化方式的差异。

RDB

首先是对 RDB 全量备份文件的解析，想要生成 RDB 文件，有两种方式，一种是手动方式：使用 save（阻塞）或者 bgsave（非阻塞）命令生成，一种是在配置文件中增加save m n（表示在 m 内，至少出现了 n 次变更就会执行 bgsave 命令）配置来实现。

下面就以一个具体的dump.rdb（在 0 号库中有一条键为 hello，值为 world 的记录）文件为例来解析其文件格式，由于 RDB 文件是二进制格式，这里使用了一个在线的十六进制编辑器进行查看：

image-20231117151039644

下文均是结合 Redis 7.2.3 版本的源码的 rdb.c 文件进行解析，对应源码地址。

0x00 Redis 版本

52 45 44 49 53 30 30 31 31，根据源码snprintf(magic,sizeof(magic),"REDIS%04d",RDB_VERSION);可以看到这里前五位是固定值REDIS，后四位用于标识RDB的版本对应11。

0x01 辅助信息

这部分涉及数据较多，先放出源码：

if (rdbSaveAuxFieldStrStr(rdb,"redis-ver",REDIS_VERSION) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"redis-bits",redis_bits) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"ctime",time(NULL)) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"used-mem",zmalloc_used_memory()) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb, "aof-base", aof_base) == -1) return -1;

结合编辑器右侧的信息，可以发现这部分数据下图中选中的数据：

在这里插入图片描述

  1. redis-ver(Redis 版本)

    这部分对应FA 09 72 65 64 69 73 2D 76 65 72 05 37 2E 32 32 2E 33，其中开头的FA(250)代表这部分数据是 AUX 属性字段，根据源码#define RDB_OPCODE_AUX 250可以了解到。然后是09 72 65 64 69 73 2D 76 65 72，09 代表随后的 9个字节是属性名，即redis-ver，最后是05 37 2E 32 32 2E 33，其中 05 代表随后的 5 个字节是属性名对应的字段值，即 Redis 的版本号7.2.3。

  2. redis-bits（位架构）

    这部分对应FA 0A 72 65 64 69 73 2D 62 69 74 73 C0 40。参考 1 可知开始的FA代表AUX，OA代表随后的 10 字节是属性名，即redis-bits。但是随后的C0就不再是代表值的长度了，这里先说明C0代表后续的一个字节按照整数进行读取，对应0x40（64），即代表是 Redis 的 64位架构。下面我们再来说明为什么会有以上的区别：

    其实代表值长度的不一定只有一个字节，这里会根据前两位进行判断（C0 对应1100 0000）：

    • 如果前两位是 00 ，那么后续的 6 位（可表示 0 ~ 63）就代表实际的字符串长度。

    • 如果前两位是 01，那么接下来的一个字节也会用于表示长度，加上第一个剩下的 6 位，总共 14 位（可表示0 ~ 16383）代表实际的字符串长度。

    • 如果前两位是 10，那么剩下 6 位的值如果是 0，就代表随后的 32 字节代表具体长度，如果剩下 6 位的值是 1，就代表随后的 64 字节代表具体长度。

    • 如果前两位是 11，则需要根据整个字节的值再进行判断，如果是C0就代表将随后的 1 字节表示整数，如果是 C1 就代表随后的 2 字节表示整数，如果是 C2 就代表随后的 4 字节表示整数，如果是C3就代表随后的内容是使用LZF 压缩算法处理后的内容。

  3. ctime（文件创建时间）

    这部分对应FA 05 63 74 69 6D 65 C2 44 11 57 65，参考 1 可知开始的FA代表AUX，05代表随后的 5 字节是属性名，即ctime。参考 2 中解析，可知随后的C2代表后续的 4 字节即44 11 57 65表示整数，由于需要按照小端序读取，因此对应的内容是 0x65571144，即秒级时间戳，如下图所示：

    image-20231120085845280

  4. used-mem（内存使用大小）

    这部分对应FA 08 75 73 65 64 2D 6D 65 6D C2 40 15 12 00，参考 1 可知开始的FA代表AUX，08代表随后的 8 字节是属性名，即used-mem。参考 3 ，可知随后的C2代表后续的 4 字节即40 15 12 00表示整数，对应的内容是 0x00121540，即 Redis 在 创建 rdb 文件前占用的内存是 1185088 字节（1.13 MB）。

  5. aof-base （是否为 aof 基准文件）

    这部分对应FA 08 61 6F 66 2D 62 61 73 65 C0 00，参考 1 可知开始的FA代表AUX，08代表随后的 8 字节是属性名，即aof-base。参考 2 中解析，可知随后的C0代表后续的 1 字节即00表示整数，即该 RDB 文件不是作为 AOF 的基准文件，后文中可以看到在 AOF 中生成的 RDB 文件中该值为 1。

0x02 数据部分

FE 00 FB 01 00 00 05 68 65 6C 6C 6F 05 77 6F 72 6C 64，这部分开始对应具体的数据信息，先展示源码：

/* save all databases, skip this if we're in functions-only mode */
if (!(req & SLAVE_REQ_RDB_EXCLUDE_DATA)) {
    for (j = 0; j < server.dbnum; j++) {
        if (rdbSaveDb(rdb, j, rdbflags, &key_counter) == -1) goto werr;
    }
}

// 以下内容是 rdbSaveDb 函数内的语句

/* Write the SELECT DB opcode */
if ((res = rdbSaveType(rdb,RDB_OPCODE_SELECTDB)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb, dbid)) < 0) goto werr;
written += res;
/* Write the RESIZE DB opcode. */
unsigned long long expires_size = dbSize(db, DB_EXPIRES);
if ((res = rdbSaveType(rdb,RDB_OPCODE_RESIZEDB)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb,db_size)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb,expires_size)) < 0) goto werr;
written += res;

可以看出这部分是遍历所有的数据库内容然后进行保存，下面再结合具体的内容进行介绍。

首先是FE 00，其中FE(254)对应RDB_OPCODE_SELECTDB常量是查询数据库的标志，00即代表 0 号数据库。

然后是FB 01 00，其中FB(251)对应RDB_OPCODE_RESIZEDB常量是查询该数据库大小的标志，根据if ((res = rdbSaveLen(rdb,db_size)) < 0) goto werr;知道01代表数据库的大小，即只有一条数据，根据if ((res = rdbSaveLen(rdb,expires_size)) < 0) goto werr;知道00代表没有包含过期标志的数据。

最后是00 05 68 65 6C 6C 6F 05 77 6F 72 6C 64，代表具体的数据内容。其中开始的00代表类型是字符串，参考源码可知（RDB_TYPE_STRING 的值是 0）：

/* Save the object type of object "o". */
int rdbSaveObjectType(rio *rdb, robj *o) {
    switch (o->type) {
    case OBJ_STRING:
        return rdbSaveType(rdb,RDB_TYPE_STRING);
    case OBJ_LIST:
        if (o->encoding == OBJ_ENCODING_QUICKLIST || o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb, RDB_TYPE_LIST_QUICKLIST_2);
        else
            serverPanic("Unknown list encoding");
    case OBJ_SET:
        if (o->encoding == OBJ_ENCODING_INTSET)
            return rdbSaveType(rdb,RDB_TYPE_SET_INTSET);
        else if (o->encoding == OBJ_ENCODING_HT)
            return rdbSaveType(rdb,RDB_TYPE_SET);
        else if (o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb,RDB_TYPE_SET_LISTPACK);
        else
            serverPanic("Unknown set encoding");
    case OBJ_ZSET:
        if (o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb,RDB_TYPE_ZSET_LISTPACK);
        else if (o->encoding == OBJ_ENCODING_SKIPLIST)
            return rdbSaveType(rdb,RDB_TYPE_ZSET_2);
        else
            serverPanic("Unknown sorted set encoding");
    case OBJ_HASH:
        if (o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb,RDB_TYPE_HASH_LISTPACK);
        else if (o->encoding == OBJ_ENCODING_HT)
            return rdbSaveType(rdb,RDB_TYPE_HASH);
        else
            serverPanic("Unknown hash encoding");
    case OBJ_STREAM:
        return rdbSaveType(rdb,RDB_TYPE_STREAM_LISTPACKS_3);
    case OBJ_MODULE:
        return rdbSaveType(rdb,RDB_TYPE_MODULE_2);
    default:
        serverPanic("Unknown object type");
    }
    return -1; /* avoid warning */
}

随后的05 68 65 6C 6C 6F中的 05表示键的长度是5，对应68 65 6C 6C 6F即hello。最后的05 77 6F 72 6C 64代表值的长度也是 5，内容是77 6F 72 6C 64即world。

0x03 尾部信息

FF 18 7F 33 2E 0F C6 20 19，根据源码#define RDB_OPCODE_EOF 255可知，FF(25)是文件的 EOF 即结束标志。随后的 8 位根据源码可知对应 CRC64 校验码：

/* EOF opcode */
if (rdbSaveType(rdb,RDB_OPCODE_EOF) == -1) goto werr;

/* CRC64 checksum. It will be zero if checksum computation is disabled, the
 * loading code skips the check in this case. */
cksum = rdb->cksum;
memrev64ifbe(&cksum);
if (rioWrite(rdb,&cksum,8) == 0) goto werr;

AOF

AOF 用于对数据库的增量备份，如果需要开启，需要将配置文件中的appendonly设置为 yes。同时，根据需要可以，设置appenddirname对应保存的文件夹，设置appendfilename用于配置文件名，设置appendfsync 用于配置频率。开启后，可以在指定的文件夹下看到类似以下的文件结构：

image-20231117142130770

其中 rdb 结尾的代表是 AOF 备份的基准文件，aof 文件是增量备份的执行命令信息，manifest 文件是记录 aof 文件的元数据信息。

0x00 dump.aof.1.base.rdb

通过十六进制编辑器打开该文件，可以发现内容和 RDB 中的格式一致（创建数据前备份的，所以没有数据部分）：

在这里插入图片描述

而由于是 AOF 的基准文件，这里aof-base的值是01即代表是基准文件。

0x01 dump.aof.1.incr.aof

文本文件，内容如下（*开头代表命令包含的参数个数，$开头代表命令的长度）：

*2       // 两个参数
$6       // 第一个参数长度为 6, 对应 SELECT 的长度
SELECT   
$1       // 第二个参数长度为 1, 对应 0, 即 0 号数据库
0
*3       // 三个参数
$3       // 第一个参数长度为 3, 对应 set 的长度
set
$5       // 第二个参数长度为 5, 对应 hello 的长度
hello
$0       // 第三个参数长度为 0

*3       // 三个参数
$3       // 第一个参数长度为 3, 对应 set 的长度
set
$5       // 第二个参数长度为 5, 对应 hello 的长度
hello
$5
world    // 第三个参数长度为 5, 对应 world 的长度

0x02 dump.aof.manifest

文本文件，内容如下：

file dump.aof.1.base.rdb seq 1 type b
file dump.aof.1.incr.aof seq 1 type i

其中seq 1 代表文件序号为 1，type b代表type base即基准文件，type i代表type increment即增量文件。

总结

本文根据一个简单的 RDB 文件讲解了 RDB 文件的存储格式，同时也简单介绍了 AOF 的文件格式。关于 RDB 中的 LZF 压缩算法和更复杂数据的存储方式（包含过期时间，数据类型为 Set，Map）等未作介绍，将留到下次。

庄周de蝴蝶
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis持久化 - RDB和AOF
08-17
Redis持久化 - RDB和AOF
【Redis源码剖析】 - Redis持久化之AOF
上善若水，人淡如菊
06-12 1万+
原创作品，转载请标明：http://blog.csdn.net/xiejingfa/article/details/51644390 Redis源码剖析系列文章汇总：传送门 Redis提供了两种持久化方法：RDB和AOF。在前面一篇文章中我们已经介绍过RDB持久化机制，今天我们来看看AOF持久化方法。本文主要涉及aof.c文件。 在前面一篇文章中，我们看到RDB持久化实际上就是把Redi...
Redis 实战之RDB文件结构
最新发布
奔走的蚂蚁的博客
05-05 1107
RDB 文件用于保存和还原 Redis 服务器所有数据库中的所有键值对数据。SAVE 命令由服务器进程直接执行保存操作，所以该命令会阻塞服务器。BGSAVE 命令由子进程执行保存操作，所以该命令不会阻塞服务器。服务器状态中会保存所有用 save 选项设置的保存条件，当任意一个保存条件被满足时，服务器会自动执行 BGSAVE 命令。RDB 文件是一个经过压缩的二进制文件，由多个部分组成。对于不同类型的键值对， RDB 文件会使用不同的方式来保存它们。
RDB文件格式
耕云者~
11-30 3131
RDB文件格式一、Redis RDB文件二、解析RDB的高级算法2.1 Magic Number2.2 RDB 版本号2.3 操作码2.3.1 数据库选择器2.3.2 Resizeb信息2.3.3 辅助字段2.3.4 键值对密钥到期时间戳值类型键值2.4 CRC64校验码三、编码方式3.1 Length Encoding 长度编码3.2 字符串编码3.2.1 长度前缀字符串3.2.2 整数作为字符...
Redis存储数据类型，及存取值方法
热门推荐
心寒的博客
05-20 1万+
Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合) String存取值： 是 redis 最基本的类型一个 key 对应一个 value。value其实不仅是String，也可以是数字。string 类型是二进制安全的。意思是 redis 的 string 可以包含任何数据。比如jpg图片或者序列化的对象。string 类型是 Redis 最基本的数据类型，string 类型的值最大能存储 512MB。　使.
[转]Redis 持久化——AOF 详解
wzwjm123的博客
05-14 324
AOF 持久化功能则提供了一种更为可靠的持久化方式。每当 Redis 接受到会修改数据集的命令时，就会把命令追加到 AOF 文件里，当你重启 Redis 时，AOF 文件里的命令会被重新执行一次，重建数据。AOF 持久化如图 1-1-1 所示。
Redis7中的持久化技术RDB和AOF的详细解释说明
写写平时的技术与感想
04-20 2040
一定是RDB的数据持久化方式有部分的问题，才会出现AOF的持久化方式。，是指 Redis 将每一次的写操作都以日志的形式记录到一个 AOF文件中的持久化技术。当需要恢复内存数据时，将这些写操作重新执行一次，便会恢复到之前的内存数据状态。
Redis持久化之AOF解读
一个菜鸡的博客
08-28 545
以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作AOF持久性记录服务器收到的每个写入操作。然后可以在服务器启动时再次重播这些操作，重建原始数据集。命令的记录格式与 Redis 协议本身相同。
Redis持久化RDB和AOF区别详解
12-14
为了确保数据在服务器重启或异常情况下的安全，Redis提供了两种主要的持久化机制：RDB（Redis Database Persistence，即快照）和AOF（Append Only File，追加日志）。下面将详细解释这两种持久化方式的区别。 **RDB...
Redis 持久化之RDB和AOF.doc
10-09
Redis 持久化是确保数据安全的重要机制，它提供了两种主要的方法：RDB（Redis Database）和 AOF（Append Only File）。RDB 是一种快照式的持久化方式，而 AOF 则记录每次写操作的日志。 RDB 持久化在特定条件下将...
尚硅谷——Redis之RDB和AOF持久化
01-31
RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 也是默认的持久化方式，这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。
Redis两种持久化方案RDB和AOF详解
09-09
它提供了两种主要的持久化方案：RDB（Redis DataBase）和AOF（Append Only File）。这两种方式各有特点，适用于不同的场景需求。 **RDB持久化**： RDB是Redis的默认持久化策略，它会在特定条件下生成数据的快照并...
Redis学习--------RDB与AOF
qq_43719634的博客
04-30 304
1. RDB持久化方式 1.1 RDB使用 RDB：RedisDB每隔一定的时间生成一个redis数据库时点快照。 调用生成快照的方式： 手动调用save或者bgsave生成数据库的时点快照。save方式是通过阻塞redis服务进程，停止对外服务，然后进行数据库快照的生成。bgsave的方式是fork一个子线程进行数据库时点快照，不影响父进程的对外服务。 通过全局配置文件进行配置调用时机。这是save的方式就是创建子进程生成快照的方式。 # Save the DB to disk. # # save &
AOF 持久化详解
氷的博客
05-09 2379
是把所有对内存进行修改的指令（写操作）以独立日志文件的方式进行记录，重启时通过执行 AOF 文件中的 Redis 命令来恢复数据。
redis java json_Java实现Redis存储复杂json格式数据并返回给前端代码示例
weixin_28931449的博客
02-16 919
本篇文章小编给大家分享一下Java实现Redis存储复杂json格式数据并返回给前端代码示例，文章代码介绍的很详细，小编觉得挺不错的，现在分享给大家供大家参考，有需要的小伙伴们可以来看看。问题背景在Java Web项目中，经常需要前端请求数据，后台从数据库中查询并计算最后返回json格式数据给前端。而每次请求都需要计算一次可能比较浪费时间，这时我们可以将计算好的结果保存在redis中，下次请求时先...
Java_Redis：2. redis 数据类型
JiangTao_qjww的博客
01-09 306
Java_Redis
【JAVA核心知识】23-F.1 Redis数据底层存储原理
积
03-14 1387
Redis具有五种数据类型：String，List，Hash，Set，ZSet，底层使用了多种数据结构，同种数据类型在不同的状态也会使用不同的数据结构。 RedisObject Redis中的值都是一个个键值对，其中键总是字符串对象，值则可以是字符串，整数，列表，集合等。Redis的值对象都通过RedisObject来表示。 typedef struct redisObject{ //表示类型：string,list,hash,set,zset unsigned type:4;
redis几种数据格式存取方式
cuixuefeng1112的专栏
06-12 5338
import java.util.List; import java.util.Map; import java.util.ResourceBundle; import java.util.Set; import java.util.logging.Logger; import redis.clients.jedis.BinaryClient.LIST_POSITION; im
redis持久化rdb和aof区别
07-15
RDB（Redis Database）和AOF（Append-Only File）是Redis中两种常见的持久化方式，它们有以下区别： 1. RDB持久化：RDB是将Redis数据库在某个时间点的数据快照保存到硬盘上的一种方式。它通过fork一个子进程来完成持久化操作，首先将数据写入一个临时文件，然后用这个临时文件替换上一个RDB文件，从而实现数据的持久化。RDB方式适合用于备份、灾难恢复和数据库迁移等场景。 2. AOF持久化：AOF是通过将Redis的写命令追加到文件的末尾来记录数据库的操作。Redis重启时，通过重新执行AOF文件中的命令来恢复数据库状态。相比于RDB方式，AOF可以提供更高的数据安全性，因为它记录了每个写操作的历史，可以保证在Redis异常退出或宕机时不会丢失数据。AOF方式适合用于数据持久化和实时备份等场景。 3. RDB的优点：RDB方式对于数据恢复速度较快，在大规模数据恢复时比AOF更高效。由于RDB是一个紧凑的二进制文件，相对于AOF文件来说更小，可以节省存储空间。此外，RDB方式对Redis的性能影响较小。 4. AOF的优点：AOF方式可以提供更高的数据安全性，因为它记录了每个写操作的历史，可以保证在Redis异常退出或宕机时不会丢失数据。AOF文件是一个文本文件，易于理解和修改。 总结来说，RDB方式适合于备份和灾难恢复，而AOF方式适合于数据持久化和实时备份。在选择持久化方式时，需要根据实际需求进行权衡和选择。另外，也可以同时使用RDB和AOF两种方式，以提供更好的数据安全性和灾难恢复能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值