Redis底层数据结构(三)--字典

字典，又称符号表，关联数组或者映射，是一种用于保存键值对(key-value)的抽象数据结构。

字典在Redis里的应用：Redis数据库就是使用字典来作为底层实现的，对数据库的增，删，改，查操作也是建立在对字典的操作之上的。除了表示数据库之外，字典还是哈希键的底层实现之一。

字典的实现

Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，每个哈希表节点就保存了字典中的一个键值对。

哈希表

结构定义：

table属性是一个数组，数组中每个元素都是指向dictEntry结构的指针，每个dictEntry结构保存着一个键值对，size属性记录了哈希表的大小，即table数组的大小，used属性记录了哈希表目前已有节点(键值对)的数量。sizemask属性的值总是等于size-1,这个属性和哈希值一起决定一个键应该被放在table数组哪个索引上面。

一个空的哈希表

哈希表节点

哈希表节点使用dictEntry结构表示，每个dictEntry结构就保存了一个键值对：

key属性保存键值对中的键，v保存键值对的值，其中值可以是一个指针，或者是一个uint64_t整数，又或者是一个int64_t整数。

next属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接在一起，以此来解决键冲突的问题。

键冲突示例

 

字典

字典dict结构：

type属性和privdata属性是针对不同类型的键值对，为创建多态字典而设置的：

• type属性是一个指向dictType结构的指针，每个dictType结构保存了一簇用于操作特定类型键值对的函数，Redis会为用途不同的字典设置不同的类型特定函数。
• privdata属性保存了需要传给那些类型特定函数的可选参数

dictType结构

ht属性是一个包含两个项的数组，每一项都是一个哈希表，一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用。

rehashidx属性记录rehash的进度，如果目前没有进行rehash，那么它的值为-1.

普通状态下的字典

 

哈希算法

当将一个新的键值对添加到字典里面时，程序需要先根据键值对的键计算出哈希值和索引值，然后根据索引值，将包含新键值对的哈希表节点放在哈希表数组的指定索引上面。

Redis计算哈希值和索引值的方法如下：

# 使用字典设置的哈希函数，计算key的哈希值
hash = dict -> type -> hashFunction(key);

#使用哈希表的sizemask属性和哈希值，计算出索引值
#根据情况不同，ht[x]可以是ht[0]或者ht[1]
index = hash & dict -> ht[x].sizemask;

当字典被用作数据库的底层实现，或者哈希键的底层实现，Redis使用MurmurHash2算法来计算键的哈希值。优点是即使输入的键是有规律的，算法仍能给出一个很好的随机分布性，并且算法的计算速度也非常快。

解决键冲突

当有两个或以上数量的键被分配到了哈希表数组的同一个索引上面，我们称这些键发生了冲突。

Redis的哈希表使用了链地址法来解决键冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成一个单项链表，被分配到同一个索引上的多个节点可以用这个单项链表连接起来，这就解决了键冲突的问题。（新节点总是添加到链表的表头位置）

rehash

当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩，以使得哈希表的负载因子维持在一个合理的范围之内。扩展和收缩哈希表的工作可以通过执行rehash(重新散列)操作来完成，步骤如下：

1）为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对的数量（即ht[0].used属性的值）：

• 扩展操作：ht[1]的大小为地一个大于等于ht[0].used * 2 的2^n;
• 收缩操作：ht[1]的大小为地一个大于等于ht[0].used 的2^n

2）将保存在ht[0]中的键值对rehash到ht[1]上面：rehash指的是重新计算键的哈希值和索引值，然后将键值对放置在ht[1]哈希表的指定位置上。

3）当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表)，释放ht[0]，将ht[1]设置为ht[0]，并且在ht[1]新创建一个空白哈希表，为下一次rehash做准备。

哈希表的扩展与收缩

当一下条件中任意一个被满足时，程序会自动开始对哈希表执行扩展操作：

1）服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1.

2）服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于5.

其中，哈希表的负载因子计算公式：

# 负载因子 = 哈希表已保存节点数量 / 哈希表大小
load_factor = ht[0].used / ht[0].size

根据BGSAVE命令或者BGREWRITEAOF命令是否正在执行，服务器执行扩展操作所需的负载因子并不相同，这是因为在执行BGSAVE命令或者BGREWRITEAOF命令的过程中，Redis需要创建当前服务器进程的子进程，而大多数操作系统都采用写时复制(copy-on-write)技术来优化子进程的使用效率，所以在子进程存在期间，服务器会提高执行扩展操作所需的负载因子，从而避免在子进程存在期间进行哈希表扩展操作，可以避免不必要的内存写入操作，最大限度的节约内存。

哈希表的负载因子小于0.1时，程序自动开始对哈希表执行收缩操作。

渐进式rehash

扩展或收缩哈希表需要将ht[0]里面所有的键值对rehash到ht[1]里面，但是这个rehash动作并不是一次性，集中式地完成，而是分多次，渐进式的完成。

这样是因为，如果哈希表中有大量键值对，那么要一次性将这些键值对全部rehash到ht[1]的话，庞大的计算量可能会到导致服务器在一段时间内停止服务。

为了避免rehash对服务器性能造成影响，服务器不是一次性将ht[0]里面所有的键值对全部rehash到ht[1]，而是分多次，渐进式地将ht[0]里面的键值对慢慢地rehash到ht[1]。

渐进式rehash的详细步骤：

1）为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表。

2）在字典维持一个索引计数器变量rehashidx，并将它设置为0,表示rehash工作开始。

3）在rehash进行期间，每次对字典执行添加，删除，查找或者更新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，当rehash工作完成之后，程序将rehashidx属性的值增一。

4）随着字典操作的不断进行，最终在某个时间点上，ht[0]的所有键值对都会被rehash到ht[1]，这时程序将rehashidx属性的值设为-1,表示rehash操作已完成。

渐进式rehash的好处在于它采用分而治之的方式，将rehash键值对所需的计算工作均摊到对字典的每个添加，删除，查找和更新操作，从而避免了集中式rehash而带来的庞大计算量。

渐进式rehash执行期间的哈希表操作

在渐进式rehash过程中，字典会同时持有ht[0]和ht[1]两个哈希表，所有在这期间字典的删除，查找，更新等操作会在两个哈希表上进行，比如查找一个键，程序会现在ht[0]里面查找，如果没找到就会继续到ht[1]里面查找。

在渐进式rehash执行期间，新添加到字典的键值对一律会被保存到ht[1]里面。

字典API