redis专题笔记 - 压缩列表ziplist

底层数据结构

// ziplist数据结构
struct ziplist {
	int32 zlbytes;           // ziplist占用总字节数
	int32 zltail_offset;     // 最后一个元素距离起始位置的偏移量
	int16 zllength;          // 元素个数
	T[] entries;             // 元素内容列表
	int8 zlend;              // 0xFF，固定值，表示压缩列表结束位置
}

// entry数据结构
struct entry {
	int<var> prevlen;             // 前一个entry的字节长度
	int<var> encoding;            // 元素类型编码
	optional byte[] content;      // 元素内容
}

ziplist

整个压缩列表是一块连续的内存空间，其在内存中的布局如下图所示：

1. 前面4个字节zlbytes: 记录当前ziplist占用的总字节数
2. 接下来4个字节zltail_offset：记录最后一个元素距离其实位置的偏移量，用于定位最后一个entry
3. 接下来2个字节zllength: 记录当前ziplist的元素个数
4. 剩下的空间基本都是存储数据的空间
5. 最后一个字节zlend: 固定为0xFF，是ziplist结束标志

entry

压缩列表中每个元素Entry也有自己的数据结构：

1. prevlen: 表示前一个元素的大小
   • 当前一个元素长度小于254时，使用1个字节表示；否则使用5个字节
2. encoding: 当前元素的编码类型信息；这个字段很有意思，redis使用一系列内部规则决定如何获取当前元素数据；redis用encoding的前缀位来区分内容
   • 00xxxxxx: 是最大长度位数为63的短字符串，后面6个位(6位最大111111 = 63)存储当前entry字符串的位数，后面该位数字节数就是字符串的内容
   • 01xxxxxx xxxxxxxx: 同上，只是用14个bit来表示字符串的长度，紧接着的字节数表示当前entry字符串
   • 10000000 aaaaaaaa bbbbbbbb cccccccc dddddddd: 第一个字节开头10，剩余6位置0，剩下4个字节表示字符串长度；可存储特大字符串
   • 11000000: 表示int16，后面2个字节表示整数
   • 11010000: 表示int32，后面4个字节表示整数
   • 11100000: 表示int64，后面8个字节表示整数
   • 11110000: 表示int24，后面3个字节表示整数
   • 11111110: 表示int8，后面1个字节表示整数
   • 11111111: 表示ziplist的结束，即zlend的值0xFF
   • 1111 xxxx: 表示极小整数，除去上面已占用的111100000、11111110和11111111，redis读到极小整数后会 -1，所以极小整数的范围可以表示为 0 ~ 12
3. content: 即存储数据的字节区域；但content是可选的，因为当entry表示极小整数时，数值已经保存在encoding的后四位，此时不需要content

ziplist的扩展策略

ziplist是一块连续内存，且紧凑存储，没有冗余空间；因此，如果给ziplist新增元素时，需要考虑两种场景：

1. 如果ziplist所在内存块后面还有未分配内存，且够新数据使用，则直接在源内存块后面申请内存别添加数据
2. 如果当前内存后已无可分分配的内存块，此时redis会重新申请一整块连续内存，并将当前ziplist复制到新内存块中

如果ziplist比较大，重新申请内存和复制数据耗时较久，所以ziplist不适合做大容量存储

级联更新

上面提到entry有一个字段prevlen表示前一个entry的大小，且当前一个entry小于254时，用1个字节表示；大于等于254时，使用5个字节表示

假设现在有一个ziplist，所有的entry大小都是253个字节:

1. 当更新某个entryA，其大小变成254
2. entryA后面的entryB的prevlen大小要从1个字节变成5个字节，此时entryB大小为257
3. entraB后面的entryC的prevlen大小要从1个字节变成5个字节，此时entryC的大小为257
4. …依次类推

上面即是级联更新的极限情况，当更新某个entry的大小时，可能会导致一连串的entry跟着变化，导致更新效率低下

ziplist的使用

ziplist主要针对小数据存储，在字典和set数据量较小时，会优先使用ziplist存储；

127.0.0.1:6379> hmset books go fast python slow
OK
127.0.0.1:6379> debug object books
Value at:0x7fb39b0182f0 refcount:1 encoding:ziplist serializedlength:216 lru:13494493 lru_seconds_idle:2

127.0.0.1:6379> zadd colors 1 red 2 yellow
(integer) 2
127.0.0.1:6379> debug object colors
Value at:0x7fb39b231710 refcount:1 encoding:ziplist serializedlength:29 lru:13494566 lru_seconds_idle:9

2. 面向用户的list数据结构底层使用quicklist,也使用ziplist存储数据