Redis(设计与实现):---RDB持久化之RDB文件结构

总体结构

RDB文件为二进制格式保存，下面我们为了演示效果，采用字符串的形式演示

• REDIS（常量）：RDB文件的最开头是REDIS部分，这个部分的长度为5字节，保存着“REDIS”五个字符。 通过这五个字符，程序可以在载入文件时，快速检查所载入的文件是否RDB文件

• db_version（变量）：长度为4字节，它的值是一个字符串表示的整数，这个整数记录了RDB文件的 版本号，比如"0006"就代表RDB文件的版本为第六版

• databases（变量）：databases部分包含着零个或任意多个数据库，以及各个数据库中的键值对数据

如果服务器的数据库状态为空（所有数据库都是空的），那么这个部分也为空，长度为 0字节

如果服务器的数据库状态为非空（有至少一个数据库非空），那么这个部分也为非空，
根据数据库所保存键值对的数量、类型和内容不同，这个部分的长度也会有所不同

• EOF（常量）：EOF常量的长度为1字节，这个常量标志着RDB文件正文内容的结束，当读入程序遇到这 个值的时候，它知道所有数据库的所有键值对都已经载入完毕了
• check_sum（变量）：check_sum是一个8字节长的无符号整数，保存着一个校验和，这个校验和是程序通过对 REDIS、db_version、databases、EOF四个部分的内容进行计算得出的。服务器在载入RDB文件时，会将载入数据所计算出的校验和与check_sum所记录的校验和进行对比，以此来检查RDB文件是否有出错或者损坏的情况出现

作为例子，下图展示了一个databases部分为空的RDB文件：文件开头的"REDIS"表示
这是一个RDB文件，之后的"0006"表示这是第六版的RDB文件，因为databases为空，所以版
本号之后直接跟着EOF常量，最后的6265312314761917404是文件的校验和

一、database部分结构

一个RDB文件的databases部分可以保存任意多个非空数据库。例如，如果服务器的0号数据库和3号数据库非空，那么服务器将创建一个如下图所示的RDB文件

database部分结构

1. 每个非空数据库在RDB文件中都可以保存为SELECTDB、db_number、key_value_pairs三个部分：
2. SELECTDB常量： 长度为1字节，当读入程序遇到这个值的时候，它知道接下来要读入的将是一个数据库号码
3. db_number： 保存着一个数据库号码，根据号码的大小不同，这个部分的长度可以是1字 节、2字节或者5字节。当程序读入db_number部分之后，服务器会调用SELECT命令，根据读
   入的数据库号码进行数据库切换，使得之后读入的键值对可以载入到正确的数据库中
4. key_value_pairs部分：保存了数据库中的所有键值对数据，如果键值对带有过期时间，那 么过期时间也会和键值对保存在一起。根据键值对的数量、类型、内容以及是否有过期时间
   等条件的不同，key_value_pairs部分的长度也会有所不同（在下面详细介绍）

二、key_value_pairs部分结构

• key_value_pairs部分都保存了一个或以上数量的键值对，如果键值对带有过期时间的话，那么键值对的过期时间也会被保存在内

不带过期时间的键值对结构

• 不带过期时间的键值对在RDB文件中由TYPE、key、value3部分组成：
  TYPE： 记录了value的类型，长度为1字节，值可以是以下常量的其中一个（以下列出的每个TYPE常量都代表了一种对象类型或者底层编码，当服务器读入RDB文
  件中的键值对数据时，程序会根据TYPE的值来决定如何读入和解释value的数据。key和 value分别保存了键值对的键对象和值对象）：
  REDIS_RDB_TYPE_STRING REDIS_RDB_TYPE_LIST REDIS_RDB_TYPE_SET REDIS_RDB_TYPE_ZSET REDIS_RDB_TYPE_HASH REDIS_RDB_TYPE_LIST_ZIPLIST
  REDIS_RDB_TYPE_SET_INTSET REDIS_RDB_TYPE_ZSET_ZIPLIST
  REDIS_RDB_TYPE_HASH_ZIPLIST

key： 其中key总是一个字符串对象，它的编码方式和REDIS_RDB_TYPE_STRING类型的 value一样。根据内容长度的不同，key的长度也会有所不同
value：根据TYPE类型的不同，以及保存内容长度的不同，保存value的结构和长度也会有所不同（后面详细介绍）

下图展示了一个没有过期时间的字符串键值对：

• 假设0号数据库中有2个键值对，且这2个键值对都不带有过期时间如下图所示：

带有过期时间的键值对结构

带有过期时间的键值对在RDB文件中由EXPIRETIME_MS、ms、TYPE、key、value五部分组成：

• EXPIRETIME_MS常量：长度为1字节，它告知读入程序，接下来要读入的将是一个以 毫秒为单位的过期时间
• ms：是一个8字节长的带符号整数，记录着一个以毫秒为单位的UNIX时间戳，这个时间 戳就是键值对的过期时间
• TYPE、key、value：和前面不带有过期时间的键值对结构意义一样

下图展示了一个带有过期时间的集合键值对，其中键的过期时间为 1388556000000（2014年1月1日零时）

• 、假设0号数据库中有2个不带有过期时间的键值对，数据库3含有1个不带有过期时间的键值对和1个带有过期时间的键值对

三、TYPE字段与value的编码

RDB文件中的每个value部分都保存了一个值对象，每个值对象的类型都由与之对应的TYPE记录，根据类型的不同，value部分的结构、长度也会有所不同

字符串对象

如果TYPE的值为REDIS_RDB_TYPE_STRING，那么value保存的就是一个字符串对象，字符串对象的编码可以是REDIS_ENCODING_INT或者REDIS_ENCODING_RAW

①如果字符串对象的编码为REDIS_ENCODING_INT：

• 那么说明对象中保存的是长度不超过32位的整数，这种编码的对象将以下图所示的结构保存
  

其中，ENCODING的值可以是REDIS_RDB_ENC_INT8、REDIS_RDB_ENC_INT16或者 REDIS_RDB_ENC_INT32三个常量的其中一个，它们分别代表RDB文件使用8位（bit）、16 位或者32位来保存整数值integer。 举个例子，如果字符串对象中保存的是可以用8位来保存的整数123，那么这个对象在 RDB文件中保存的结构将如下图所示

②如果字符串对象的编码为REDIS_ENCODING_RAW：

那么说明对象所保存的是一个字 符串值，根据字符串长度的不同，有压缩和不压缩两种方法来保存这个字符串：

• 如果字符串的长度小于等于20字节，那么这个字符串会直接被原样保存
• 如果字符串的长度大于20字节，那么这个字符串会被压缩之后再保存

备注： 以上两个条件是在假设服务器打开了RDB文件压缩功能的情况下进行的，如果服务器关闭了RDB文件压缩功能，那么RDB程序总以无压缩的方式保存字符串值

对于没有被压缩的字符串，RDB程序会以下图所示的结构来保存该字符串

• string部分保存了字符串值本身
• len保存了字符串值的长度
  
• 对于压缩后的字符串，RDB程序会以下图所示的结构来保存该字符串

其中，REDIS_RDB_ENC_LZF常量标志着字符串已经被LZF算法（http://liblzf.plan9.de）
压缩过了，读入程序在碰到这个常量时，会根据之后的compressed_len、origin_len和
compressed_string三部分，对字符串进行解压缩：其中compressed_len记录的是字符串被压
缩之后的长度，而origin_len记录的是字符串原来的长度，compressed_string记录的则是被压 缩之后的字符串

• 下图展示了一个保存无压缩字符串的例子，其中字符串的长度为5，字符串的值为"hello"
  下图展示了一个压缩后的字符串示例，从图中可以看出，字符串原本的长度为21，压 缩之后的长度为6，压缩之后的字符串内容为"?aa???"，其中?代表的是无法用字符串形式打印 出来的字节

列表对象

• 如果TYPE的值为REDIS_RDB_TYPE_LIST，那么value保存的就是一个REDIS_ENCODING_LINKEDLIST编码的列表对象
  - RDB文件保存这种对象的结构如下图所示： list_length记录了列表的长度，它记录列表保存了多少个项（item），读入程序可以通过 这个长度知道自己应该读入多少个列表项

图中以item开头的部分代表列表的项，因为每个列表项都是一个字符串对象，所以程序 会以处理字符串对象的方式来保存和读入列表项

作为示例，下图展示了一个包含三个元素的列表，结构中的第一个数字3是列表的长度，之后跟着的分别是第一个列表项、第二个列表项
和第三个列表项，其中：：

• 第一个列表项的长度为5，内容为字符串"hello"。
• 第二个列表项的长度也为5，内容为字符串"world"。
• 第三个列表项的长度为1，内容为字符串"！"

集合对象

• 如果TYPE的值为REDIS_RDB_TYPE_SET，那么value保存的就是一个 REDIS_ENCODING_HT编码的集合对象
• RDB文件保存这种对象的结构如下图所示：

  1. set_size是集合的大小，它记录集合保存了多少个元素，读入程序可以通过这个大 小知道自己应该读入多少个集合元素

     2.以elem开头的部分代表集合的元素，因为每个集合元素都是一个字符串对象，所以 程序会以处理字符串对象的方式来保存和读入集合元素

作为示例，下图展示了一个包含四个元素的集合，结构中的第一个数字4记录了集合的大小，之后跟着的是集合的四个元素：

第一个元素的长度为5，值为"apple"
第二个元素的长度为6，值为"banana"
第三个元素的长度为3，值为"cat"
第四个元素的长度为3，值为"dog"

哈希表对象

• 如果TYPE的值为REDIS_RDB_TYPE_HASH，那么value保存的就是一个 REDIS_ENCODING_HT编码的集合对象

RDB文件保存这种对象的结构如下图所示：

• hash_size记录了哈希表的大小，也即是这个哈希表保存了多少键值对，读入程序可以通 过这个大小知道自己应该读入多少个键值对
• 以key_value_pair开头的部分代表哈希表中的键值对，键值对的键和值都是字符串对 象，所以程序会以处理字符串对象的方式来保存和读入键值对

• 结构中的每个键值对都以键紧挨着值的方式排列在一起，如下图所示：

• 因此，从更详细的角度看，哈希表对象的结构可以表示为下图所示：

作为示例，下图展示了一个包含两个键值对的哈希表，第一个数字2记录了哈希表的键值对数量，之后跟着的是两个键值 对：

• 第一个键值对的键是长度为1的字符串"a"，值是长度为5的字符串"apple"
• 第二个键值对的键是长度为1的字符串"b"，值是长度为6的字符串"banana"

有序集合对象\

• 如果TYPE的值为REDIS_RDB_TYPE_ZSET，那么value保存的就是一个 REDIS_ENCODING_SKIPLIST编码的有序集合对象

RDB文件保存这种对象的结构如下图所示：

• sorted_set_size记录了有序集合的大小，也即是这个有序集合保存了多少元素，读入程序需要根据这个值来决定应该读入多少有序集合元素
• 以element开头的部分代表有序集合中的元素，每个元素又分为成员（member）和分值(score）两部分，成员是一个字符串对象，分值则是一个double类型的浮点数，程序在保存
  RDB文件时会先将分值转换成字符串对象，然后再用保存字符串对象的方法将分值保存起 来

有序集合中的每个元素都以成员紧挨着分值的方式排列，下图所示：

因此，从更详细的角度看，有序集合对象的结构可以表示为下图所示：

作为示例，下图展示了一个带有两个元素的有序集合，第一个数字2记录了有序集合的元素数量，之后跟着的是两个有序 集合元素：

第一个元素的成员是长度为2的字符串"pi"，分值被转换成字符串之后变成了长度为4的 字符串"3.14" 第二个元素的成员是长度为1的字符串"e"，分值被转换成字符串之后变成了长度为3的 字符串"2.7"

INTSET编码的集合

• 如果TYPE的值为REDIS_RDB_TYPE_SET_INTSET，那么value保存的就是一个整数集 合对象
• RDB文件保存这种对象的方法是，先将整数集合转换为字符串对象，然后将这个字 符串对象保存到RDB文件里面
• 如果程序在读入RDB文件的过程中，碰到由整数集合对象转换成的字符串对象，那么程 序会根据TYPE值的指示，先读入字符串对象，再将这个字符串对象转换成原来的整数集合 对象

ZIPLIST编码的列表、哈希表或者有序集合 如果TYPE的值为REDIS_RDB_TYPE_LIST_ZIPLIST、 REDIS_RDB_TYPE_HASH_ZIPLIST或者REDIS_RDB_TYPE_ZSET_ZIPLIST

那么value保 存的就是一个压缩列表对象，RDB文件保存这种对象的方法是：
将压缩列表转换成一个字符串对象 将转换所得的字符串对象保存到RDB文件。

如果程序在读入RDB文件的过程中，碰到由压缩列表对象转换成的字符串对象，那么程 序会根据TYPE值的指示，执行以下操作：

• 读入字符串对象，并将它转换成原来的压缩列表对象
• 根据TYPE的值，设置压缩列表对象的类型：如果TYPE的值为 REDIS_RDB_TYPE_LIST_ZIPLIST，那么压缩列表对象的类型为列表；如果TYPE的值为REDIS_RDB_TYPE_HASH_ZIPLIST，那么压缩列表对象的类型为哈希表；如果TYPE的值为REDIS_RDB_TYPE_ZSET_ZIPLIST，那么压缩列表对象的类型为有序集合（从这个步骤可以看出，由于TYPE的存在，即使列表、哈希表和有序集合三种类型都使用压缩列表来保存，RDB读入程序也总可以将读入并转换之后得出的压缩列表设置成原来的类
  型）