最近看了数据结构的跳表,特有感悟,在前几节讲过一个二分的查找法排序,他的排序时间一般都是O(logn)而二分查找底层依赖的是数组随机访问的特性,所以底层用的数组来来实现的。在数据结构中存储方式其实不只是有数组,还有一个非线性结构的链表。假设一组数都是存在链表上的,这个二分法的效果就不尽人意了。在看过跳表这个处理方式之后发现链表查找数据也可以是O(logn)的时间,只需要稍加改造也可以支持快速的插入、删除、查找操作,写起来也不复杂,甚至可以替代红黑树(Red-black tree)。
问题:
Redis 中的有序集合(Sorted Set)就是用跳表来实现的。如果你有一定基础,应该知道红黑树也可以实现快速的插入、删除和查找操作。那 Redis 为什么会选择用跳表来实现有序集合呢? 为什么不用红黑树呢?
目录
- 理解跳表
- 如何提高效率
- 优点(为什么不用红黑树)
理解跳表
对于一个单链表来讲,即便链表中存储的数据是有序的,如果要想在其中查找某个数据,也只能从头到尾遍历链表。这样查找效率就会很低,时间复杂度会很高,是 O(n)。
那怎么来提高查找效率呢?如果像图中那样,对链表建立一级“索引”,查找起来是不是就会更快一些呢?每两个结点提取一个结点到上一级,我们把抽出来的那一级叫作索引或索引层。你可以看我画的图。图中的 down 表示 down 指针,指向下一级结点。
如果现在要查找某个结点,比如 6。我们可以先在索引层遍历,当遍历到索引层中值为 5 的结点时,我们发现下一个结点是 7,那要查找的结点 6 肯定就在这两个结点之间。然后我们通过索引层结点的 down 指针,下降到原始链表这一层,继续遍历。这个时候,我们只需要再遍历 2 个结点,就可以找到值等于 6 的这个结点了。这样,原来如果要查找 6,需要遍历 6 个结点,现在只需要遍历 4 个结点。
在这里可能感觉不到什么,但是如果真正的处理数据了肯定会比这些数据多,而且是用到算法了肯定数据时很多的。就这样6个节点上就能差出2个,设想如果是600个6万个甚至6百万个,这个效率差值就上来了。
从这里看出只加来一层索引,查找一个结点需要遍历的结点个数减少了,也就是说查找效率提高了。那如果再加一级索引效率肯定会提升更多,而且这个是随着数据量的增多效率越明显的。跟前面建立第一级索引的方式相似,在第一级索引的基础之上,每两个结点就抽出一个结点到第二级索引。现在再来查找 6,只需要遍历 6 个结点了,需要遍历的结点数量又减少了。
这边这个例子数据量不大,所以即便加了两级索引,查找效率的提升也并不明显。假如是一个包含 64 个结点的链表,按照前面讲的这种思路,建立了五级索引。那么效率一下子就明显了,下面这张图是参考极客时间的图,自己用ppt太难画了。
可以看出,原来没有索引的时候,查找 62 需要遍历 62 个结点,现在只需要遍历 11 个结点,所以,当链表的长度 n 比较大时,比如 1000、10000 的时候,在构建索引之后,查找效率的提升就会非常明显。
跳表的效率就是这样提升的。
如何提升效率
其实这个东西在上面已经展示出了,在我理解什么是跳表的同时也用图列举出了效率是怎么一步步变快的。感觉用图说明的东西最为明显了,也好理解。
按照数据结构的的习性,讲一个算法的同时也要注意分析时间效率,虽然图可以给出效率很快但是不能给出效率计算的值,下面分析一下这个值是怎么计算的。
在一个单链表中查询某个数据的时间复杂度是 O(n)(这个是不用分析的,可以看我的数据结构(一))。那在一个具有多级索引的跳表中,查询某个数据的时间复杂度就不能用正常的这个链表分析了。按照刚才的图片展示可以看到,每两个结点会抽出一个结点作为上一级索引的结点,那第一级索引的结点个数大约就是 n/2,第二级索引的结点个数大约就是 n/4,第三级索引的结点个数大约就是 n/8,依次类推,也就是说,第 k 级索引的结点个数是第 k-1 级索引的结点个数的 1/2,那第 k级索引结点的个数就是 n/(2k)。
假设索引有 h 级,最高级的索引有 2 个结点。通过上面的公式,我们可以得到 n/(2h)=2,从而求得 h=log2n-1。如果包含原始链表这一层,整个跳表的高度就是 log2n。我们在跳表中查询某个数据的时候,如果每一层都要遍历 m 个结点,那在跳表中查询一个数据的时间复杂度就是 O(m*logn)。
按照前面这种索引结构,我们每一级索引都最多只需要遍历 3 个结点,也就是说 m=3。因为假设我们要查找的数据是 x,在第 k 级索引中,我们遍历到 y 结点之后,发现 x 大于 y,小于后面的结点 z,所以我们通过 y 的 down 指针,从第 k 级索引下降到第 k-1 级索引。在第 k-1 级索引中,y 和 z 之间只有 3 个结点(包含 y 和 z),所以,我们在 K-1 级索引中最多只需要遍历 3 个结点,依次类推,每一级索引都最多只需要遍历 3 个结点。图片参考极客时间的,感觉很形象!!!
所以在跳表中查询任意数据的时间复杂度就是 O(logn)。这个查找的时间复杂度跟二分查找是一样的。换句话说,其实是基于单链表实现了二分查找,不过这种查询效率的提升,前提是建立了很多级索引,也就是空间换时间的设计思路。
到这里引申一个小问题,就简单分析一下其实我的理解也不是太准确,先这样记下。
跳表是不是很浪费内存?
比起单纯的单链表,跳表需要存储多级索引,肯定要消耗更多的存储空间。那到底需要消耗多少额外的存储空间呢?
跳表的空间复杂度分析并不难,我在前面说了,假设原始链表大小为 n,那第一级索引大约有 n/2 个结点,第二级索引大约有 n/4 个结点,以此类推,每上升一级就减少一半,直到剩下 2 个结点。如果把每层索引的结点数写出来,就是一个等比数列。
这几级索引的结点总和就是 n/2+n/4+n/8…+8+4+2=n-2。所以,跳表的空间复杂度是 O(n)。也就是说,如果将包含 n 个结点的单链表构造成跳表,但是需要额外再用接近 n 个结点的存储空间。那其实还有办法降低索引占用的内存空间,可以这样设计即使如果每三个结点或五个结点,抽一个结点到上级索引,这样就不用那么多索引结点了。通过等比数列求和公式,总的索引结点大约就是 n/3+n/9+n/27+…+9+3+1=n/2。尽管空间复杂度还是 O(n),但比上面的每两个结点抽一个结点的索引构建方法,要减少了一半的索引结点存储空间。.
优化
其实就是高效的动态插入和删除,跳表这个动态数据结构,不仅支持查找操作,还支持动态的插入、删除操作,而且插入、删除操作的时间复杂度也是 O(logn)。其实我理解的就是不管是插入还是删除,都是先通过查找然后再做一系列的操作的。
在跳表中插入一个数据,时间复杂度为O(logn)
在单链表中,一旦定位好要插入的位置,插入结点的时间复杂度是很低的,就是 O(1)。但是,这里为了保证原始链表中数据的有序性,需要先找到要插入的位置,这个查找操作就会比较耗时。
对于纯粹的单链表,需要遍历每个结点,来找到插入的位置。但是,对于跳表来说,查找某个结点的的时间复杂度是 O(logn),所以这里查找某个数据应该插入的位置,方法也是类似的,时间复杂度也是 O(logn)。
删除操作
如果这个结点在索引中也有出现,除了要删除原始链表中的结点,还要删除索引中的。因为单链表中的删除操作需要拿到要删除结点的前驱结点,然后通过指针操作完成删除。所以在查找要删除的结点的时候,一定要获取前驱结点。当然,如果用的是双向链表,就不需要考虑这个问题了。
跳表索引动态更新
当不停地往跳表中插入数据时,如果不更新索引,就有可能出现某 2 个索引结点之间数据非常多的情况。极端情况下,跳表还会退化成单链表。
作为一种动态数据结构,需要某种手段来维护索引与原始链表大小之间的平衡,也就是说,如果链表中结点多了,索引结点就相应地增加一些,避免复杂度退化,以及查找、插入、删除操作性能下降。
**基于这样,其实就像红黑树、AVL 树这样平衡二叉树,通过左右旋的方式保持左右子树的大小平衡而跳表是通过随机函数来维护前面提到的“平衡性”。**当往跳表中插入数据的时候,可以选择同时将这个数据插入到部分索引层中。通过一个随机函数,来决定将这个结点插入到哪几级索引中,比如随机函数生成了值 K,那我们就将这个结点添加到第一级到第 K 级这 K 级索引中。(**这个随机函数里面是怎么实现的其实我也不太理解,有时间深入了解一下)**随机函数的选择很有讲究,从概率上来讲,能够保证跳表的索引大小和数据大小平衡性,不至于性能过度退化。
还有
为什么 Redis 要用跳表来实现有序集合,而不是红黑树?
Redis 中的有序集合是通过跳表来实现的,严格点讲,其实还用到了散列表。
查看 Redis 的开发手册,就会发现,Redis 中的有序集合支持的核心操作主要有下面这几个:
插入一个数据;
删除一个数据;
查找一个数据;
按照区间查找数据(比如查找值在 [100, 356] 之间的数据);
迭代输出有序序列。
其中,插入、删除、查找以及迭代输出有序序列这几个操作,红黑树也可以完成,时间复杂度跟跳表是一样的。但是,按照区间来查找数据这个操作,红黑树的效率没有跳表高。对于按照区间查找数据这个操作,跳表可以做到 O(logn) 的时间复杂度定位区间的起点,然后在原始链表中顺序往后遍历就可以了。这样做非常高效。
Redis 之所以用跳表来实现有序集合,还有其他原因,比如,跳表更容易代码实现。虽然跳表的实现也不简单,但比起红黑树来说还是好懂、好写多了,而简单就意味着可读性好,不容易出错。还有,跳表更加灵活,它可以通过改变索引构建策略,有效平衡执行效率和内存消耗。
不过,跳表也不能完全替代红黑树。因为红黑树比跳表的出现要早一些,很多编程语言中的 Map 类型都是通过红黑树来实现的。在开发的时候,直接拿来用就可以了,不用费劲自己去实现一个红黑树,但是跳表并没有一个现成的实现,所以在开发中,如果想使用跳表,必须要自己实现。(这个就有点GG了,程度达不到)
总结:这次是记录了一次自己对Redis里面的有序集合中的一个内部实现,就是跳表,里面肯定还有散列表,目前因为对散列表的认知还不够深,所以等看了散列表再做一次总结记录。