Redis-RDB持久化

第10章　RDB持久化

Redis是一个键值对数据库服务器，服务器中通常包含着任意个非空数据库，而每个非空数据库中又可以包含任意个键值对，为了方便起见，我们将服务器中的非空数据库以及它们的键值对统称为数据库状态。

因为Redis是内存数据库，它将自己的数据库状态储存在内存里面，所以如果不想办法将储存在内存中的数据库状态保存到磁盘里面，那么一旦服务器进程退出，服务器中的数据库状态也会消失不见。为了解决这个问题，Redis提供了RDB持久化功能，这个功能可以将Redis在内存中的数据库状态保存到磁盘里面，避免数据意外丢失。

RDB持久化既可以手动执行，也可以根据服务器配置选项定期执行，该功能可以将某个时间点上的数据库状态保存到一个RDB文件中，通过该文件可以还原生成RDB文件时的数据库状态，如图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jukchi6p-1658478725537)(https://cdn.jsdelivr.net/gh/A1ANGithub/cloudimg@main/img/RDB1.png)]

因为RDB文件是保存在硬盘里面的，所以即使Redis服务器进程退出，甚至运行Redis服务器的计算机停机，但只要RDB文件仍然存在，Redis服务器就可以用它来还原数据库状态。

本章首先介绍Redis服务器保存和载入RDB文件的方法，重点说明SAVE命令和BGSAVE命令的实现方式。之后，本章会继续介绍Redis服务器自动保存功能的实现原理。在介绍完关于保存和载入RDB文件方面的内容之后，我们会详细分析RDB文件中的各个组成部分，并说明这些部分的结构和含义。

10.1　RDB文件的创建与载入

• 有两个Redis命令可以用于生成RDB文件，一个是SAVE，另一个是BGSAVE

  • SAVE命令会阻塞Redis服务器进程，直到RDB文件创建完毕为止，在服务器进程阻塞期间，服务器不能处理任何命令请求
  • BGSAVE命令会派生出一个子进程，然后由子进程负责创建RDB文件，服务器进程（父进程）继续处理命令请求

• RDB文件的载入工作是在服务器启动时自动执行的

• AOF文件的更新频率通常比RDB文件的更新频率高

  • 如果服务器开启了AOF持久化功能，那么服务器会优先使用AOF文件来还原数据库状态
  • 只有在AOF持久化功能处于关闭状态时，服务器才会使用RDB文件来还原数据库状态

10.1.1　SAVE命令执行时的服务器状态

SAVE命令执行时，Redis服务器会被阻塞

10.1.2　BGSAVE命令执行时的服务器状态

BGSAVE命令的保存工作是由子进程执行的，所以在子进程创建RDB文件的过程中，Redis服务器仍然可以继续处理客户端的命令请求，但是，在BGSAVE命令执行期间，服务器处理SAVE、BGSAVE、BGREWRITEAOF三个命令的方式会和平时有所不同。

客户端发送的SAVE和BGSAVE命令会被服务器拒绝，防止产生竞争条件

BGREWRITEAOF和BGSAVE两个命令不能同时执行，两者都由子进程执行，会大量消耗性能

10.1.3　RDB文件载入时的服务器状态

服务器在载入RDB文件期间，会一直处于阻塞状态，直到载入工作完成为止

10.2　自动间隔性保存

因为BGSAVE命令可以在不阻塞服务器进程的情况下执行，所以Redis允许用户通过设置服务器配置的save选项，让服务器每隔一段时间自动执行一次BGSAVE命令。用户可以通过save选项设置多个保存条件，但只要其中任意一个条件被满足，服务器就会执行BGSAVE命令。

10.2.1　设置保存条件

save选项默认条件

save 900 1
save 300 10
save 60 10000

struct redisServer {
    // ...
    // 记录了保存条件的数组
    struct saveparam *saveparams;
    // ...
};

struct saveparam {
    // 秒数
    time_t seconds;
    // 修改数
    int changes;
};

10.2.2　dirty计数器和lastsave属性

• 服务器状态还维持着一个dirty计数器，以及一个lastsave属性
  • dirty 计数器记录距离上一次成功执行SAVE命令或者BGSAVE命令之后，服务器对数据库状态（服务器中的所有数据库）进行了多少次修改（包括写入、删除、更新等操作）
  • lastsave属性是一个UNIX时间戳，记录了服务器上一次成功执行SAVE命令或者BGSAVE命令的时间

struct redisServer {
    // ...
    // 修改计数器
    long long dirty;
    // 上一次执行保存的时间
    time_t lastsave;
    // ...
};

10.2.3　检查保存条件是否满足

Redis的服务器周期性操作函数serverCron默认每隔100毫秒就会执行一次，其中一项工作就是检查save选项所设置的保存条件是否已经满足，如果满足的话，就执行BGSAVE命令。

10.3　RDB文件结构

一个完整RDB文件所包含的各个部分

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4welXJH0-1658478725537)(https://cdn.jsdelivr.net/gh/A1ANGithub/cloudimg@main/img/RDB2.png)]

• RDB文件的最开头是REDIS部分，这个部分的长度为5字节，保存着’R’、‘E’、‘D’、‘I’、'S’五个字符。通过这五个字符，程序可以在载入文件时，快速检查所载入的文件是否RDB文件。
• db_version长度为4字节，它的值是一个字符串表示的整数，这个整数记录了RDB文件的版本号
• databases部分包含着零个或任意多个数据库，以及各个数据库中的键值对数据
  • 如果服务器的数据库状态为空（所有数据库都是空的），那么这个部分也为空，长度为0字节
  • 如果服务器的数据库状态为非空（有至少一个数据库非空），那么这个部分也为非空，根据数据库所保存键值对的数量、类型和内容不同，这个部分的长度也会有所不同
• EOF常量的长度为1字节，这个常量标志着RDB文件正文内容的结束
• check_sum是一个8字节长的无符号整数，保存着一个校验和，这个校验和是程序通过对REDIS、db_version、databases、EOF四个部分的内容进行计算得出的。用来检查RDB文件是否有出错或者损坏

10.3.1　databases部分

一个RDB文件的databases部分可以保存任意多个非空数据库

每个非空数据库在RDB文件中都可以保存为SELECTDB、db_number、key _value_pairs三个部分

• SELECTDB常量的长度为1字节，当读入程序遇到这个值的时候，它知道接下来要读入的将是一个数据库号码
• db_number保存着一个数据库号码，根据号码的大小不同，这个部分的长度可以是1字节、2字节或者5字节。调用SELECT命令，载入到正确的数据库中
• key _value_pairs部分保存了数据库中的所有键值对数据，如果键值对带有过期时间，那么过期时间也会和键值对保存在一起

完整的RDB文件如图所示

10.3.2　key_value_pairs部分

• RDB文件中的每个key _value_pairs部分都保存了一个或以上数量的键值对，如果键值对带有过期时间的话，那么键值对的过期时间也会被保存在内

  • 不带过期时间的键值对在RDB文件中由TYPE、key 、value三部分组成

    

    • TYPE可以是以下常量的一个

      REDIS_RDB_TYPE_STRING
      REDIS_RDB_TYPE_LIST
      REDIS_RDB_TYPE_SET
      REDIS_RDB_TYPE_ZSET
      REDIS_RDB_TYPE_HASH
      REDIS_RDB_TYPE_LIST_ZIPLIST
      REDIS_RDB_TYPE_SET_INTSET
      REDIS_RDB_TYPE_ZSET_ZIPLIST
      REDIS_RDB_TYPE_HASH_ZIPLIST

      以上列出的每个TYPE常量都代表了一种对象类型或者底层编码

    • key总是一个字符串对象，它的编码方式和REDIS_RDB_TYPE_STRING类型的value一样

  • 带有过期时间的键值对在RDB文件中的结构如图所示

    
    • EXPIRETIME_MS常量的长度为1字节，它告知读入程序，接下来要读入的将是一个以毫秒为单位的过期时间
    • ms是一个8字节长的带符号整数，记录着一个以毫秒为单位的UNIX时间戳，这个时间戳就是键值对的过期时间

10.3.3　value的编码

RDB文件中的每个value部分都保存了一个值对象，每个值对象的类型都由与之对应的TYPE记录，根据类型的不同，value部分的结构、长度也会有所不同

1. 字符串对象

   TYPE的值为REDIS_RDB_TYPE_STRING，那么value保存的就是一个字符串对象

   字符串对象的编码可以是REDIS_ENCODING_INT或者REDIS_ENCODING_RAW

   

2. 列表对象

   TYPE的值为REDIS_RDB_TYPE_LIST，那么value保存的就是一个REDIS_ENCODING_LINKEDLIST编码的列表对象

   

   list_length是列表的长度，每个item列表项是一个字符串对象

3. 集合对象

   TYPE的值为REDIS_RDB_TYPE_SET，那么value保存的就是一个REDIS_ENCODING_HT编码的集合对象

   

   set_size是集合的大小，每个elem列表项是一个字符串对象

4. 哈希表对象

   TYPE的值为REDIS_RDB_TYPE_HASH，那么value保存的就是一个REDIS_ENCODING_HT编码的集合对象

   

   hash_size是哈希表的大小，key _value_pair代表哈希表中的键值对，键值对的键和值都是字符串对象

   详细的哈希表结构，key,value都为字符串对象

   

5. 有序集合对象

   TYPE的值为REDIS_RDB_TYPE_ZSET，那么value保存的就是一个REDIS_ENCODING_SKIPLIST编码的有序集合对象

   

   sorted_set_size是有序集合的大小，element分为成员(member)和分值(score)两部分，成员是一个字符串对象，分值则是一个double类型的浮点数（保存RDB文件时会先将分值转换成字符串对象）

   详细的有序集合结构

   

6. INTSET编码的集合

   TYPE的值为REDIS_RDB_TYPE_SET_INTSET，那么value保存的就是一个整数集合对象

   保存这种对象的方法是，先将整数集合转换为字符串对象，然后将这个字符串对象保存到RDB文件里面

   程序在读入RDB文件的过程中，碰到由整数集合对象转换成的字符串对象，那么程序会根据TYPE值的指示，先读入字符串对象，再将这个字符串对象转换成原来的整数集合对象

7. ZIPLIST编码的列表、哈希表或者有序集合

   TYPE的值为REDIS_RDB_TYPE_LIST_ZIPLIST、REDIS_RDB_TYPE_HASH_ZIPLIST或者REDIS_RDB_TYPE_ZSET_ZIPLIST，那么value保存的就是一个压缩列表对象

   RDB文件保存这种对象的方法是：将压缩列表转换成一个字符串对象，将转换所得的字符串对象保存到RDB文件

   程序在读入RDB文件的过程中，碰到由压缩列表对象转换成的字符串对象，那么程序会根据TYPE值的指示，读入字符串对象，并将它转换成原来的压缩列表对象；根据TYPE的值，设置压缩列表对象的类型：如果TYPE的值为REDIS_RDB_TYPE_LIST_ZIPLIST，那么压缩列表对象的类型为列表；如果TYPE的值为REDIS_RDB_TYPE_HASH_ZIPLIST，那么压缩列表对象的类型为哈希表；如果TYPE的值为REDIS_RDB_TYPE_ZSET_ZIPLIST，那么压缩列表对象的类型为有序集合

10.4　分析RDB文件

10.5　重点回顾

• RDB文件用于保存和还原Redis服务器所有数据库中的所有键值对数据
• SAVE命令由服务器进程直接执行保存操作，所以该命令会阻塞服务器
• BGSAVE令由子进程执行保存操作，所以该命令不会阻塞服务器
• 服务器状态中会保存所有用save选项设置的保存条件，当任意一个保存条件被满足时，服务器会自动执行BGSAVE命令
• RDB文件是一个经过压缩的二进制文件，由多个部分组成
  10.4　分析RDB文件

10.5　重点回顾

• RDB文件用于保存和还原Redis服务器所有数据库中的所有键值对数据
• SAVE命令由服务器进程直接执行保存操作，所以该命令会阻塞服务器
• BGSAVE令由子进程执行保存操作，所以该命令不会阻塞服务器
• 服务器状态中会保存所有用save选项设置的保存条件，当任意一个保存条件被满足时，服务器会自动执行BGSAVE命令
• RDB文件是一个经过压缩的二进制文件，由多个部分组成
• 对于不同类型的键值对，RDB文件会使用不同的方式来保存它们