list取值_闲扯Redis五 : List数据类型底层之quicklist

前言

     Redis提供了5种数据类型：String(字符串)、Hash(哈希)、List(列表)、Set(集合)、Zset(有序集合)，理解每种数据类型的特点对于redis的开发和运维非常重要。

Redis中的list是我们经常使用到的一种数据类型，根据使用方式的不同，可以应用到很多场景中。

底层解析

上节说道，在3.0版本的redis中，List类型有两种实现方式：

1、使用压缩列表(ziplist)实现的列表对象。

2、使用双端链表( linkedlist )实现的列表对象。

在3.2版本后新增了quicklist 数据结构实现了list，现在就来分析下quicklist的结构

先来看看Redis官方对quicklist的描述：

A doubly linked list of ziplists

A generic doubly linked quicklist implementation

可见 quicklist 是一个双向链表，并且是一个ziplist的双向链表，也就是说quicklist的每个节点都是一个ziplist。而通过前面的文章咱们可以知道，ziplist本身也是一个能维持数据项先后顺序的列表，而且数据项保存在一个连续的内存块中。那是不是意味着quicklist结合了压缩列表和双端链表的特点呢！

quicklist结构定义：

/*  * quicklist */typedef struct quicklist {    //头结点    quicklistNode *head;     //尾节点    quicklistNode *tail;     //所有ziplist中entry数量    unsigned long count;     //quicklistNodes节点数量    unsigned int len;       //ziplist中entry能保存的数量,由list-max-ziplist-size配置项控制     int fill : 16;           //压缩深度,由list-compress-depth配置项控制    unsigned int compress : 16; } quicklist;

注释：

fill ：//ziplist中entry能保存的数量,由list-max-ziplist-size配置项控制

        表示了单个节点(quicklistNode)的负载比例(fill factor)，负数限制 quicklistNode 中的 ziplist 的字节长度, 正数限制 quicklistNode 中的 ziplist 的最大长度。

-5: 最大存储空间: 64 Kb -4: 最大存储空间: 32 Kb -3: 最大存储空间: 16 Kb -2: 最大存储空间: 8 Kb -1: 最大存储空间: 4 Kb 对于正整数则表示最多能存储到你设置的那个值, 当前的节点就装满了通常在 -2 (8 Kb size) 或 -1 (4 Kb size) 时, 性能表现最好

compress ：//压缩深度,由list-compress-depth配置项控制

                表示 quicklist 中的节点 quicklistNode, 除开最两端的 compress 个节点之后, 中间的节点都会被压缩(LZF压缩算法)。

quicklistNode结构定义：

typedef struct quicklistNode {    //前节点指针    struct quicklistNode *prev;     //后节点指针    struct quicklistNode *next;     //数据指针。当前节点的数据没有压缩，那么它指向一个ziplist结构；否则，它指向一个quicklistLZF结构。    unsigned char *zl;    //zl指向的ziplist实际占用内存大小。需要注意的是：如果ziplist被压缩了，那么这个sz的值仍然是压缩前的ziplist大小    unsigned int sz;      //ziplist里面包含的数据项个数    unsigned int count : 16;       //ziplist是否压缩。取值：1--ziplist，2--quicklistLZF     unsigned int encoding : 2;     //存储类型，目前使用固定值2 表示使用ziplist存储    unsigned int container : 2;     //当我们使用类似lindex这样的命令查看了某一项本来压缩的数据时，需要把数据暂时解压，这时就设置recompress=1做一个标记，等有机会再把数据重新压缩    unsigned int recompress : 1;    unsigned int attempted_compress : 1; /* node can't compress; too small */    unsigned int extra : 10; /* more bits to steal for future usage */} quicklistNode;

quicklistLZF结构定义：

typedef struct quicklistLZF {    unsigned int sz;  //压缩后的ziplist大小    char compressed[];//柔性数组，存放压缩后的ziplist字节数组} quicklistLZF;

根据上述结构体定义，咱们可以绘制一下quicklist的结构：

图片来源：https://segmentfault.com/a/1190000015476108

总结

双端链表：

1.双端链表便于在表的两端进行push和pop操作，但是它的内存开销比较大；

2.双端链表每个节点上除了要保存数据之外，还要额外保存两个指针；

3.双端链表的各个节点是单独的内存块，地址不连续，节点多了容易产生内存碎片；

压缩列表：

1.ziplist由于是一整块连续内存，所以存储效率很高；

2.ziplist不利于修改操作，每次数据变动都会引发一次内存的realloc；

3.当ziplist长度很长的时候，一次realloc可能会导致大批量的数据拷贝，进一步降低性能；

quicklist：

1.空间效率和时间效率的折中；

2.结合了双端链表和压缩列表的优点；

-END-