Redis原理解析(三) 字典(dict)

本系列所有的内容直接参考于redis3.0版本源码和《Redis设计与实现》圣经，请大家放心食用~

1.3 字典(dict)

1.3.1 概述

字典是一种用于保存键值对的抽象数据结构，Cpp、Java等语言中的Map就是字典的实现之一。

在Redis中字典运用的相当广泛，比如Redis数据库就是用字典实现的(Remote Dictionary Server),我们存储的key是字典的键，value是字典的值。除了用来表示数据库之外，字典还是哈希键的底层实现之一一，当一个哈希键包含的键值对比较多，又或者键值对中的元素都是比较长的字符串时，Redis就会使用字典作为哈希键的底层实现。

1.3.2 字典的实现

Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典中的一个键值对。

在Redis3.0源码中的dict.h和dict.c中实现了字典

字典键值对的实现

/*
 * 哈希表节点
 */
typedef struct dictEntry {
    
    // 键
    void *key;

    // 值
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
    } v;

    // 指向下个哈希表节点，形成链表
    struct dictEntry *next;

} dictEntry;

针对不同类型字典的特定函数

/*
 * 字典类型特定函数
 */
typedef struct dictType {

    // 计算哈希值的函数
    unsigned int (*hashFunction)(const void *key);

    // 复制键的函数
    void *(*keyDup)(void *privdata, const void *key);

    // 复制值的函数
    void *(*valDup)(void *privdata, const void *obj);

    // 对比键的函数
    int (*keyCompare)(void *privdata, const void *key1, const void *key2);

    // 销毁键的函数
    void (*keyDestructor)(void *privdata, void *key);
    
    // 销毁值的函数
    void (*valDestructor)(void *privdata, void *obj);

} dictType;

哈希表的实现

/*
 * 哈希表
 *
 * 每个字典都使用两个哈希表，从而实现渐进式 rehash 。
 */
typedef struct dictht {
    
    // 哈希表节点数组
    dictEntry **table;

    // 哈希表大小
    unsigned long size;
    
    // 哈希表大小掩码，用于计算索引值
    // 总是等于 size - 1
    unsigned long sizemask;

    // 该哈希表已有节点的数量
    unsigned long used;

} dictht;

字典的实现(一个字典中有两个哈希表，用来渐进式rehash操作)

/*
 * 字典
 */
typedef struct dict {

    // 类型特定函数
    dictType *type;

    // 私有数据
    void *privdata;

    // 哈希表
    dictht ht[2];

    // rehash 索引
    // 当 rehash 不在进行时，值为 -1
    int rehashidx; /* rehashing not in progress if rehashidx == -1 */

    // 目前正在运行的安全迭代器的数量
    int iterators; /* number of iterators currently running */

} dict;

1.3.3 哈希算法

当一个键值对倍添加到字典中时，redis先计算出它的哈希值，然后根据哈希值求出在哈希表中的索引，然后将键值对添加到字典中。

dict.c中的_dictKeyIndex方法部分实现如下

• 计算哈希值，redis采用的是 MurmurHash2 哈希算法
• 计算索引值，redis采用对哈希表数组长度取模的方式完成，因为hash表的数组长度总是2的整数倍，取模的一种高效实现是 hash值 & (数组长度 - 1)

1.3.4 哈希冲突

redis解决哈希冲突的办法，是拉链法。即将产生hash冲突的节点以链表形式连接起来。

如下图 k1和k2发生了哈希冲突。redis为了插入时的效率，直接采用头插法将发生冲突的节点直接插入到链表的头部。

1.3.5 rehash

1.Rehash操作

redis字典的哈希表默认长度是4，那么当插入很多数据的时候，必然会发生大量的哈希冲突，从而导致读写数据的效率降低，因此需要对哈希表进行扩容，保持哈希表的执行效率。

扩展和收缩哈希表的工作可以通过执行rehash (重新散列)操作来完成，Redis对字典的哈希表执行rehash的步骤如下:

1. 为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对数量(也即是ht[0].used属性的值)

   1. 如果执行的是扩展操作，那么ht[1]的大小为第一个大于等于ht[0].used*2的2^n(2的n次方幂);

   2. 如果执行的是收缩操作，那么ht[1]的大小为第一个大于等于ht[0].used的2^n。

2. 将保存在ht[0]中的所有键值对rehash到ht[1]. 上面: rehash指的是重新计算键的哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置上。

3. 当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表)，释放ht[0]，将ht[1]设置为ht[0]，并在ht[1]新创建一个空白哈希表，为下一次rehash做准备。

Redis触发rehash的时机

当以下条件中的任意一个被满足时，程序会自动开始对哈希表执行扩展操作:

1. 服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1。

2. 服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于5。其中哈希表的负载因子可以通过公式:

   负载因子=哈希表已保存节点数量/哈希表大小

   load_factor = ht[0].used / ht[0].size计算得出。

根据BGSAVE命令或BGREWRITEAOF命令是否正在执行，服务器执行扩展操作所需的负载因子并不相同，这是因为在执行BGSAVE命令或BGREWRITEAOF命令的过程中，Redis需要创建当前服务器进程的子进程，而大多数操作系统都采用写时复制(copy-on-write)技术来优化子进程的使用效率，所以在子进程存在期间，服务器会提高执行扩展操作所需的负载因子，从而尽可能地避免在子进程存在期间进行哈希表扩展操作，这可以避免不必要的内存写人操作，最大限度地节约内存。
另一方面，当哈希表的负载因子小于0.1时，程序自动开始对哈希表执行收缩操作。

2.渐进式rehash

扩展或收缩哈希表需要将ht[0]里面的所有键值对rehash到ht[1]里面，但是，这个rehash动作并不是一次性、集中式地完成的，而是分多次、渐进式地完成的。
这样做的原因在于，如果ht[0]里只保存着四个键值对，那么服务器可以在瞬间就将这些键值对全部rehash到ht[1];但是，如果哈希表里保存的键值对数量不是四个，而是四百万、四千万甚至四亿个键值对，那么要一次性将这些键值对全部rehash到ht[1]的话，庞大的计算量可能会导致服务器在一段时间内停止服务。因此，为了避免rehash对服务器性能造成影响，服务器不是一次性将ht[0]里面的所有键值对全部rehash到ht[1]，而是分多次、渐进式地将ht[0]里面的键值对慢慢地rehash到ht[1]。

以下是哈希表渐进式rehash的详细步骤:

1. 为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表。
2. 在字典中维持一个索引计数器变量rehashidx,并将它的值设置为0,表示rehash工作正式开始。
3. 在rehash进行期间，每次对字典执行添加、删除、查找或者更新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，当rehash工作完成之后，程序将rehashidx属性的值增一。
4. 随着字典操作的不断执行，最终在某个时间点上，ht[0]的所有键值对都会被rehash至ht[1]，这时程序将rehashidx属性的值设为-1，表示rehash操作已完成。

渐进式rehash的好处在于它采取分而治之的方式，将rehash键值对所需的计算工作均摊到对字典的每个添加、删除、查找和更新操作上，从而避免了集中式rehash而带来的庞大计算量。

3.渐进式rehash执行期间的哈希表操作

因为在进行渐进式rehash的过程中，字典会同时使用ht[0]和ht[1]两个哈希表,所以在渐进式rehash进行期间，字典的删除( delete)、查找( find)、更新( update)等操作会在两个哈希表上进行。例如，要在字典里面查找一个键的话，程序会先在ht[0]里面进行查找，如果没找到的话，就会继续到ht[1]里面进行查找，诸如此类。

另外，在渐进式rehash执行期间，新添加到字典的键值对一律会被保存到ht[1]里面，而ht[0]则不再进行任何添加操作，这一措施保证了ht[0]包含的键值对数量会只减不增，并随着rehash操作的执行而最终变成空表。

1.3.6 总结

• 字典被广泛用于实现Redis的各种功能，其中包括数据库和哈希键。
• Redis中的字典使用哈希表作为底层实现，每个字典带有两个哈希表，一个平时使用，另一个仅在进行rehash时使用。
• 当字典被用作数据库的底层实现，或者哈希键的底层实现时，Redis使用MurmurHash2算法来计算键的哈希值。
• 哈希表使用链地址法来解决键冲突，被分配到同一个索引，上的多个键值对会连接成一个单向链表。
• 在对哈希表进行扩展或者收缩操作时，程序需要将现有哈希表包含的所有键值对rehash到新哈希表里面，并且这个rehash过程并不是–次性地完成的，而是渐进式地完成的。

以上所有操作的源码，都可在redis3.0版本的dict.h和dict.c源文件中查看