目录
1、跳跃表的zset应用场景分析
众所周知Redis中每种基本类型都有2种或以上的底层实现,一般使用到ZSET时,我们会说它的实现是基于ziplist和skiplist实现的,这提供了多样性选择:
- 当ZSET长度小于设定值(zset-max-ziplist-entries)或成员的长度小于设定值(zset-max-ziplist-value)时会使用ziplist的实现,否则使用skiplist实现
但是当ZSET在使用skiplist实现的时候,它对成员的查找也是O(1)复杂度。根据skiplist的结构,要查找某一个成员必须对各个SkiplistNode进行遍历,因此复杂度为O(n)。因此判断ZSET的查找成员功能并不是根据skiplist进行的,而是使用字典(dict)。
先来看一下ZSET的结构源码:
typedef struct zset {
dict *dict;
zskiplist *zsl;
} zset;
可以看到一个ZSET结构使用了一个dict和一个zskiplist(特殊版本的skiplist),具体代码在SkipList小节中再叙述。ZSET的结构可以由下图来标识:
通过这样的结构,当ZSET需要进行成员查询的时候,可以根据dict查询,时间复杂度为O(1);当ZSET需要进行范围查找的时候,根据skiplist结构可以实现平均O(logn)复杂度的查找,实现两种数据结构的优势互补。
2、跳跃表的源码实现
2.1 跳跃表的基本数据结构
/*
* 跳跃表
*/
typedef struct zskiplist {
// 表头节点和表尾节点
struct zskiplistNode *header, *tail;
// 表中节点的数量,不包含头节点
unsigned long length;
// 表中层数最大的节点的层数,不包含头节点
int level;
} zskiplist;
-----------------------------------------------------------
/* ZSETs use a specialized version of Skiplists */
/*
* 跳跃表节点
*/
typedef struct zskiplistNode {
// 成员对象
robj *obj;
// 分值
double score;
// 后退指针
struct zskiplistNode *backward;
// 层
struct zskiplistLevel {
// 前进指针
struct zskiplistNode *forward;
// 跨度
unsigned int span;
} level[];
} zskiplistNode;
2.2 跳跃表的结构图
它的跳跃表结构可能
如下(注意这里说的是可能,因为每个节点的层级Level
是采用随机算法实现的):
2.3 跳跃表的创建
/*
* 创建并返回一个新的跳跃表
*
* T = O(1)
*/
zskiplist *zslCreate(void) {
int j;
zskiplist *zsl;
// 分配空间
zsl = zmalloc(sizeof(*zsl));
// 设置高度和起始层数
zsl->level = 1;
zsl->length = 0;
// 初始化表头节点
// T = O(1)
zsl->header = zslCreateNode(ZSKIPLIST_MAXLEVEL,0,NULL);
for (j = 0; j < ZSKIPLIST_MAXLEVEL; j++) {
zsl->header->level[j].forward = NULL;
zsl->header->level[j].span = 0;
}
zsl->header->backward = NULL;
// 设置表尾
zsl->tail = NULL;
return zsl;
}
-----------------------------------------------------------------------
/*
* 创建一个层数为 level 的跳跃表节点,
* 并将节点的成员对象设置为 obj ,分值设置为 score 。
*
* 返回值为新创建的跳跃表节点
*
* T = O(1)
*/
zskiplistNode *zslCreateNode(int level, double score, robj *obj) {
// 分配空间
zskiplistNode *zn = zmalloc(sizeof(*zn)+level*sizeof(struct zskiplistLevel));
// 设置属性
zn->score = score;
zn->obj = obj;
return zn;
}
2.4 跳跃表的插入
/*
* 创建一个成员为 obj ,分值为 score 的新节点,
* 并将这个新节点插入到跳跃表 zsl 中。
*
* 函数的返回值为新节点。
*/
zskiplistNode *zslInsert(zskiplist *zsl, double score, robj *obj) {
//这个update很巧妙,记录了离插入位置最近的那个节点,保存的是level[i].forward
//如果在跳跃表上跟踪记录轨迹,则是竖折形状。
zskiplistNode *update[ZSKIPLIST_MAXLEVEL], *x; //32
unsigned int rank[ZSKIPLIST_MAXLEVEL];
int i, level;
redisAssert(!isnan(score));
// 在各个层查找节点的插入位置
x = zsl->header;
for (i = zsl->level-1; i >= 0; i--) {
/* store rank that is crossed to reach the insert position */
// rank[i]用来记录第i层达到插入位置的所跨越的节点总数,也就是该层最接近(小于)给定score的排名
// rank[0]则是离插入位置最近的节点的rank,是前面每一层最终的累加值
rank[i] = i == (zsl->level-1) ? 0 : rank[i+1];
// 沿着前进指针遍历跳跃表
while (x->level[i].forward &&
(x->level[i].forward->score < score ||
// 比对分值
(x->level[i].forward->score == score &&
// 比对成员, T = O(N)
compareStringObjects(x->level[i].forward->obj,obj) < 0))) {
// 记录沿途跨越了多少个节点
rank[i] += x->level[i].span;
// 移动至下一指针
x = x->level[i].forward;
}
// 记录将要和新节点相连接的节点
update[i] = x;
}
/* we assume the key is not already inside, since we allow duplicated
* scores, and the re-insertion of score and redis object should never
* happen since the caller of zslInsert() should test in the hash table
* if the element is already inside or not.
*
* zslInsert() 的调用者会确保同分值且同成员的元素不会出现,
* 所以这里不需要进一步进行检查,可以直接创建新元素。
*/
// 获取一个随机值作为新节点的层数
// T = O(N)
level = zslRandomLevel();
// 如果新节点的层数比表中其他节点的层数都要大
// 那么初始化表头节点中未使用的层,并将它们记录到 update 数组中
// 将来也指向新节点
if (level > zsl->level) {
// 初始化未使用层
// T = O(1)
for (i = zsl->level; i < level; i++) {
rank[i] = 0;
//初始化头节点中未触及到的区间[zsl->level,level)
update[i] = zsl->header;
update[i]->level[i].span = zsl->length; //超过level,直接跨越到null,跨度是length
}
// 更新表中节点最大层数
zsl->level = level;
}
// 创建新节点
x = zslCreateNode(level,score,obj);
// 将前面记录的指针指向新节点,并做相应的设置
// T = O(1)
for (i = 0; i < level; i++) {
// 设置新节点的 forward 指针
x->level[i].forward = update[i]->level[i].forward;
// 将沿途记录的各个节点的 forward 指针指向新节点
update[i]->level[i].forward = x;
/* update span covered by update[i] as x is inserted here */
// 计算新节点跨越的节点数量
// 未插入前顺序:update[i]..update[0] 插入x后顺序: update[i]..update[0]..x
// rank[0]-rank[i]表示的是update[i]和update[0]之间的跨度span
// update[i]->level[i].span表示的是update[i]与update[i]->level[i]->forward之间的span
x->level[i].span = update[i]->level[i].span - (rank[0] - rank[i]);
// 更新新节点插入之后,沿途节点的 span 值
// 其中的 +1 计算的是新节点,表示时从update[i]->level[i]到x的span
update[i]->level[i].span = (rank[0] - rank[i]) + 1;
}
/* increment span for untouched levels */
//如果新节点的level小于跳跃表的最大层数,未接触的节点的 span 值也需要增一,因为横跨在新节点上方,这些节点直接从表头指向新节点
// T = O(1)
for (i = level; i < zsl->level; i++) {
update[i]->level[i].span++;
}
// 设置新节点的后退指针
// 新节点可能直接插在头节点的后面,这种情况下update[0]为header
x->backward = (update[0] == zsl->header) ? NULL : update[0];
// 插入位置是否插入尾节点
if (x->level[0].forward)
x->level[0].forward->backward = x;
else
zsl->tail = x;
// 跳跃表的节点计数增一
zsl->length++;
return x;
}
特别注意的是,这个层数创建时是根据幂次定律来随机生成一个1-32之间的值。具体算法参见随机算法。