Redis源码剖析--快速列表quicklist

在RedisObject这一篇博客中，有介绍到list结构的底层编码类型有OBJ_ENCODING_QUICKLIST，当时就发现这个底层数据结构被我遗漏了。昨天花了点时间补了补这个知识，看完发现这货就跟STL中的deque的思想一样，顿时觉得又是一个实现超级繁琐但很实用的数据结构。今天就带大家一起来看看这个“二合一”的数据结构。

quicklist是Redis在3.2版本加入的新数据结构，其是list列表的底层数据结构。

quicklist简介

为什么说quicklist是“二合一”呢？如果你看过STL中的deque的实现，就会知道deque是由一个map中控器和一个数组组成的数据结构，它既具有链表头尾插入便捷的优点，又有数组连续内存存储，支持下标访问的优点。Redis中是采用sdlist和ziplist来实现quicklist的，其中sdlist充当map中控器的作用，ziplist充当占用连续内存空间数组的作用。quicklist本身是一个双向无环链表，它的每一个节点都是一个ziplist。为什么这么设计呢？

• 双向链表在插入节点上复杂度很低，但它的内存开销很大，每个节点的地址不连续，容易产生内存碎片。
• ziplist是存储在一段连续的内存上，存储效率高，但是它不利于修改操作，插入和删除数都很麻烦，复杂度高，而且其需要频繁的申请释放内存，特别是ziplist中数据较多的情况下，搬移内存数据太费时！

Redis综合了双向链表和ziplist的优点，设计了quicklist这个数据结构，使它作为list键的底层实现。接下来，就要考虑每一个ziplist中存放的元素个数。

• 如果每一个ziplist中的元素个数过少，内存碎片就会增多。可以按照极端情况双向链表来考虑。
• 如果每一个ziplist中的元素个数过多，那么ziplist分配大块连续内存空间的难度就增大，同样会影响效率。

Redis的配置文件中，给出了每个ziplist中的元素个数设定，考虑使用场景需求，我们可以选择不同的元素个数。该参数设置格式如下：

list-max-ziplist-size -2

后面的数字可正可负，正、负代表不同函数，其中，如果参数为正，表示按照数据项个数来限定每个节点中的元素个数，比如3代表每个节点中存放的元素个数不能超过3；反之，如果参数为负，表示按照字节数来限定每个节点中的元素个数，它只能取-1~-5这五个数，其含义如下：

• -1 每个节点的ziplist字节大小不能超过4kb
• -2 每个节点的ziplist字节大小不能超过8kb
• -3 每个节点的ziplist字节大小不能超过16kb
• -4 每个节点的ziplist字节大小不能超过32kb
• -5 每个节点的ziplist字节大小不能超过64kb

另外，在quicklist的源码中提到了一个LZF的压缩算法，该算法用于对quicklist的节点进行压缩操作。list的设计目的是能够存放很长的数据列表，当列表很长时，必然会占用很高的内存空间，且list中最容易访问的是两端的数据，中间的数据访问率较低，于是就可以从这个出发点来进一步节省内存用于其他操作。Redis提供了一下的配置参数，用于表示中间节点是否压缩。

list-compress-depth 0

参数list-compress-depth的取值和含义对应如下：

• 0 特殊值，表示不压缩
• 1 表示quicklist两端各有一个节点不压缩，中间的节点压缩
• 2 表示quicklist两端各有两个节点不压缩，中间的节点压缩
• 3 表示quicklist两端各有三个节点不压缩，中间的节点压缩
• 以此类推。

quicklist的数据结构

quicklist的数据结构定义在quicklist.c文件中。

typedef struct quicklist {
    quicklistNode *head;        // 指向quicklist的头部
    quicklistNode *tail;        // 指向quicklist的尾部
    unsigned long count;        // 列表中所有数据项的个数总和
    unsigned int len;           // quicklist节点的个数，即ziplist的个数
    int fill : 16;              // ziplist大小限定，由list-max-ziplist-size给定
    unsigned int compress : 16; // 节点压缩深度设置，由list-compress-depth给定
} quicklist;

每个quicklist结构占用32个字节的空间，下面来看看quicklist节点的数据结构。

typedef struct quicklistNode {
    struct quicklistNode *prev;  // 指向上一个ziplist节点
    struct quicklistNode *next;  // 指向下一个ziplist节点
    unsigned char *zl;           // 数据指针，如果没有被压缩，就指向ziplist结构，反之指向quicklistLZF结构 
    unsigned int sz;             // 表示指向ziplist结构的总长度(内存占用长度)
    unsigned int count : 16;     // 表示ziplist中的数据项个数
    unsigned int encoding : 2;   // 编码方式，1--ziplist，2--quicklistLZF
    unsigned int