02 | 数据结构：快速的Redis有哪些慢操作？

一、Redis接收到一个键值对操作后，能以微秒级别的速度找到数据，并快速完成操作。

1、一方面，这是因为它是内存数据库，所有操作都在内存上完成，内存的访问速度本身就很快。

2、另一方面，这要归功于它的数据结构。

 A、键值对是按一定的数据结构来组织的，操作键值对最终就是对数据结构进行增删改查操作

二、

1、String（字符串）、List（列表）、Hash（哈希）、Set（集合）和 Sorted Set（有序集合）这些只是 Redis 键值对中值的数据类型，也就是数据的保存形式

2、我们说的数据结构，是要去看看它们的底层实现。简单来说，底层数据结构一共有 6 种，分别是简单动态字符串、双向链表、压缩列表、哈希表、跳表和整数数组

3、String 类型的底层实现只有一种数据结构，也就是简单动态字符串。而 List、Hash、Set 和 Sorted Set 这四种数据类型，都有两种底层实现结构。

4、List、Hash、Set 和 Sorted Set 称为集合类型，它们的特点是一个键对应了一个集合的数据。 

三、键和值用什么结构组织？

1、为了实现从键到值的快速访问，Redis 使用了一个哈希表来保存所有键值对。

2、一个哈希表，其实就是一个数组，数组的每个元素称为一个哈希桶，每个哈希桶中保存了键值对数据。

3、哈希桶中的元素保存的并不是值本身，而是指向具体值的指针。

4、哈希桶中的 entry 元素中保存了*key和*value指针，分别指向了实际的键和值，这样一来，即使值是一个集合，也可以通过*value指针被查找到。

5、哈希表的最大好处很明显，就是让我们可以用 O(1) 的时间复杂度来快速查找到键值对

6、查找过程主要依赖于哈希计算，和数据量的多少并没有直接关系。也就是说，不管哈希表里有 10 万个键还是 100 万个键，我们只需要一次计算就能找到相应的键。

7、Redis 中写入大量数据后，就可能发现操作有时候会突然变慢了。这其实是因为你忽略了一个潜在的风险点，那就是哈希表的冲突问题和 rehash 可能带来的操作阻塞。

四、为什么哈希表操作变慢了？

1、哈希冲突，也就是指，两个 key 的哈希值和哈希桶计算对应关系时，正好落在了同一个哈希桶中。

A、哈希桶的个数通常要少于 key 的数量，这也就是说，难免会有一些 key 的哈希值对应到了同一个哈希桶中。 

2、Redis 解决哈希冲突的方式，就是链式哈希。链式哈希也很容易理解，就是指同一个哈希桶中的多个元素用一个链表来保存，它们之间依次用指针连接。

A、entry1、entry2 和 entry3 都需要保存在哈希桶 3 中，导致了哈希冲突。此时，entry1 元素会通过一个*next指针指向 entry2，同样，entry2 也会通过*next指针指向 entry3。

B、这里依然存在一个问题，哈希冲突链上的元素只能通过指针逐一查找再操作。如果哈希表里写入的数据越来越多，哈希冲突可能也会越来越多，这就会导致某些哈希冲突链过长，进而导致这个链上的元素查找耗时长，效率降低。对于追求“快”的 Redis 来说，这是不太能接受的。

3、所以，Redis 会对哈希表做 rehash 操作。rehash 也就是增加现有的哈希桶数量，让逐渐增多的 entry 元素能在更多的桶之间分散保存，减少单个桶中的元素数量，从而减少单个桶中的冲突。

A、 为了使 rehash 操作更高效，Redis 默认使用了两个全局哈希表：哈希表 1 和哈希表 2。

B、一开始，当你刚插入数据时，默认使用哈希表 1，此时的哈希表 2 并没有被分配空间。

C、随着数据逐步增多，Redis 开始执行 rehash

a、给哈希表 2 分配更大的空间，例如是当前哈希表 1 大小的两倍；

b、把哈希表 1 中的数据重新映射并拷贝到哈希表 2 中；

c、释放哈希表 1 的空间。

D、从哈希表 1 切换到哈希表 2，用增大的哈希表 2 保存更多数据，而原来的哈希表 1 留作下一次 rehash 扩容备用。

E、第b步涉及大量的数据拷贝，如果一次性把哈希表 1 中的数据都迁移完，会造成 Redis 线程阻塞(rehash操作阻塞)，无法服务其他请求。此时，Redis 就无法快速访问数据了。

F、为了避免这个问题，Redis 采用了渐进式 rehash。

a、Redis 仍然正常处理客户端请求，每处理一个请求时，从哈希表 1 中的第一个索引位置开始，顺带着将这个索引位置上的所有 entries 拷贝到哈希表 2 中；等处理下一个请求时，再顺带拷贝哈希表 1 中的下一个索引位置的 entries

 五、集合数据操作效率

1、对于 String 类型来说，找到哈希桶就能直接增删改查了，所以，哈希表的 O(1) 操作复杂度也就是它的复杂度了。但是，对于集合类型来说，即使找到哈希桶了，还要在集合中再进一步操作。接下来，我们来看集合类型的操作效率又是怎样的。

2、集合的操作效率和哪些因素相关呢？首先，与集合的底层数据结构有关

六、有哪些底层数据结构？

1、集合类型的底层数据结构主要有 5 种：整数数组、双向链表、哈希表、压缩列表和跳表。

2、整数数组和双向链表操作特征都是顺序读写，也就是通过数组下标或者链表的指针逐个元素访问，操作复杂度基本是 O(N)，操作效率比较低；

3、压缩列表实际上类似于一个数组，数组中的每一个元素都对应保存一个数据。

A、和数组不同的是，压缩列表在表头有三个字段 zlbytes、zltail 和 zllen，分别表示列表长度、列表尾的偏移量和列表中的 entry 个数；压缩列表在表尾还有一个 zlend，表示列表结束。

B、我们要查找定位第一个元素和最后一个元素，可以通过表头三个字段的长度直接定位，复杂度是 O(1)。 

C、查找其他元素时，就没有这么高效了，只能逐个查找，此时的复杂度就是 O(N) 了。

4、跳表

A、有序链表只能逐一查找元素，导致操作起来非常缓慢，于是就出现了跳表。

B、跳表在链表的基础上，增加了多级索引，通过索引位置的几个跳转，实现数据的快速定位

a、为了提高查找速度，我们来增加一级索引：从第一个元素开始，每两个元素选一个出来作为索引

b、如果我们还想再快，可以再增加二级索引：从一级索引中，再抽取部分元素作为二级索引，二级索引指向一级索引。

C、当数据量很大时，跳表的查找复杂度就是 O(logN)。

七、不同操作的复杂度 

1、不同操作复杂度的高低又是我们选择集合类型的重要依据。

2、单元素操作是基础；范围操作非常耗时；统计操作通常高效；例外情况只有几个。

A、单元素操作，是指每一种集合类型对单个数据实现的增删改查操作。如，Hash 类型的 HGET、HSET 和 HDEL，Set 类型的 SADD、SREM、SRANDMEMBER 等。

a、这些操作的复杂度由集合采用的数据结构决定，例如，HGET、HSET 和 HDEL 是对哈希表做操作，所以它们的复杂度都是 O(1)；Set 类型用哈希表作为底层数据结构时，它的 SADD、SREM、SRANDMEMBER 复杂度也是 O(1)。

b、有个地方你需要注意一下，集合类型支持同时对多个元素进行增删改查，例如 Hash 类型的 HMGET 和 HMSET，Set 类型的 SADD 也支持同时增加多个元素。此时，这些操作的复杂度，就是由单个元素操作复杂度和元素个数决定的。例如，HMSET 增加 M 个元素时，复杂度就从 O(1) 变成 O(M) 了。

B、范围操作，是指集合类型中的遍历操作，可以返回集合中的所有数据，比如 Hash 类型的 HGETALL 和 Set 类型的 SMEMBERS，或者返回一个范围内的部分数据，比如 List 类型的 LRANGE 和 ZSet 类型的 ZRANGE

a、这类操作的复杂度一般是 O(N)，比较耗时，我们应该尽量避免。

b、不过，Redis 从 2.8 版本开始提供了 SCAN 系列操作（包括 HSCAN，SSCAN 和 ZSCAN），这类操作实现了渐进式遍历，每次只返回有限数量的数据。这样一来，相比于 HGETALL、SMEMBERS 这类操作来说，就避免了一次性返回所有元素而导致的 Redis 阻塞。

C、统计操作，是指集合类型对集合中所有元素个数的记录，例如 LLEN 和 SCARD。

a、这类操作复杂度只有 O(1)，这是因为当集合类型采用压缩列表、双向链表、整数数组这些数据结构时，这些结构中专门记录了元素的个数统计，因此可以高效地完成相关操作。

D、例外情况，是指某些数据结构的特殊记录，例如压缩列表和双向链表都会记录表头和表尾的偏移量。

a、对于 List 类型的 LPOP、RPOP、LPUSH、RPUSH 这四个操作来说，它们是在列表的头尾增删元素，这就可以通过偏移量直接定位，所以它们的复杂度也只有 O(1)，可以实现快速操作。

八、小结

1、Redis 的底层数据结构

A、Redis 中用来保存每个键和值的全局哈希表结构

B、支持集合类型实现的双向链表、压缩列表、整数数组、哈希表和跳表

2、Redis 能快速操作键值对

A、一方面是因为 O(1) 复杂度的哈希表被广泛使用，包括 String、Hash 和 Set，它们的操作复杂度基本由哈希表决定

B、Sorted Set 也采用了 O(logN) 复杂度的跳表

C、集合类型的范围操作，用 SCAN 来代替，避免在 Redis 内部产生费时的全集合遍历操作。

3、复杂度较高的 List 类型，它的两种底层实现结构：双向链表和压缩列表的操作复杂度都是 O(N)。因此，我的建议是：因地制宜地使用 List 类型。例如，既然它的 POP/PUSH 效率很高，那么就将它主要用于 FIFO 队列场景，而不是作为一个可以随机读写的集合。