Redis数据结构之字典

字典是一种用于保存键值对( key-value pair )的抽象数据结构。Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典中的一个键值对

数据结构

哈希表数据节点
typedef struct dictEntry {
    //键值对的key
    void *key; 
    //键值对的value
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
        double d;
    } v;
    //下一个相同hash值的键值对，用于处理hash冲突，链式处理
    struct dictEntry *next;    
    //附加数据，例如Cluster 使用这个数据这个dictEntry变成一个双向链表
    void *metadata[];           
} dictEntry;

typedef struct dictType {
    uint64_t (*hashFunction)(const void *key); //计算hash值
    void *(*keyDup)(dict *d, const void *key); //复制键
    void *(*valDup)(dict *d, const void *obj); //复制值
    int (*keyCompare)(dict *d, const void *key1, const void *key2);//比较key
    void (*keyDestructor)(dict *d, void *key); //销毁键
    void (*valDestructor)(dict *d, void *obj); //销毁值
    int (*expandAllowed)(size_t moreMem, double usedRatio); //检查内存块分配
    size_t (*dictEntryMetadataBytes)(dict *d); //返回metadata长度
} dictType;

哈希表
struct dict {
    dictType *type;
    //两个hash表，正常使用的是ht_table[0], rehash 才会使用到ht_table[1]
    dictEntry **ht_table[2];
    //对应两个hash表中，元素个数
    unsigned long ht_used[2];
    //-1 表示没有在rehash
    long rehashidx;
};

未rehash的字典图

 rehash过程中的字典图

Hash算法

        当要将一个新的键值对添加到字典里面时，程序需要先根据键值对的键计算出哈希值和 索引值，然后再根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上面。

#使用字典设置的哈希函数，计算键 key 的哈希值

hash    =   dict->type->hashFunction(key);

#使用哈希表的 sizemask 属性和哈希值，计算出索引值

        #根据情况不同， ht_size_exp[table]可以是 ht_size_exp[0] 或者 ht_size_exp[1]

        idx = hash & DICTHT_SIZE_MASK(d->ht_size_exp[table]);

解决键冲突

当有两个或以上数量的键被分配到了哈希表数组的同一个索引上面时，我们称这些键发生了冲突。

Redis 哈希表使用链地址法来解决键冲突，每个哈希表节点都有一个 next 指针，多个哈希表节点可以用 next 指针构成一个单向链表，被分配到同一个索 引上的多个节点可以用这个单向链表连接起来，这样就解决了键冲突的问题。

Rehash

随着操作的不断执行，哈希表保存的键值对会逐渐地增多或者减少，为了让哈希表的负载因子维持在一个合理的范围之内，当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩。

哈希扩展收缩条件

1.服务器目前没有在执行 BGSAVE 命令或者 BGREWRITEAOF 命令，并且哈希表的负载因子大于等于1

2.服务器目前正在执行 BGSAVE 命令或者 BGREWRITEAOF 命令，并且哈希表的负载因子大于等于5

#负载因子=哈希表巳保存节点数量/哈希表大小 

factor   =  ht[0].used   I  ht[0].size

根据 BGSAVE   命令或 BGREWRITEAOF    命令是否正在执行，服务器执行扩展操作所需的负载因子并不相同，这是因为在执行BGSAVE命令或 BGREWRITEAOF 命令的过程中， Redis 需要创建当前服务器进程的子进程，而大多数操作系统都采用写时复制( copy-on­ write)  技术来优化子进程的使用效率，所以在子进程存在期间，服务器会提高执行扩展操作 所需的负载因子，从而尽可能地避免在子进程存在期间进行哈希表扩展操作，这可以避免不必要的内存写入操作，最大限度地节约内存。

        当哈希表的负载因子小于 0.1 时，程序自动开始对哈希表执行收缩操作。

哈希流程:

     1.为字典的 ht[l] 哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以 及 ht[0] 当前包含的键值对数量:

   ·如果执行的是扩展操作，那么ht[1]的大小为第一个大于等于 ht[0] .used*2 的 2 ^n

        ·如果执行的是收缩操作，那么 ht[1]的大小为第一个大于等于 ht[O] .used 的2^n

2. 将保存在 ht[0] 中的所有键值对 rehash 到 ht[1] 上面: rehash 指的是重新计算键的哈希值和索引值，然后将键值对放置到 ht[1] 哈希表的指定位置上。

3. 当 ht[0] 包含的所有键值对都迁移到了 ht[1] 之后 (ht [0] 变为空表)，释放ht[0] ，将ht[1] 设置为 ht[0] .并在 ht[1]新创建一个空白哈希表，为下一次 rehash做准备。

渐进式哈希流程:

     扩展或收缩哈希表需要将 ht[0] 里面的所有键值对 rehash 到 ht[1] 里面，但是，这个 rehash动作并不是一次性、集中式地完成的，而是分多次、渐进式地完 成的。

        这样做的原因在于，如果 ht[0] 里只保存着四个键值对，那么服务器可以在瞬间就将这些键值对全部 rehash 到 ht [1] ;但是，如果哈希表里保存的键值对数量不是四个，而是 四百万、四千万甚至四亿个键值对，那么要一次性将这些键值对全部 rehash 到ht[1]  的话，庞大的计算量可能会导致服务器在一段时间内停止服务。

因此，为了避免 rehash 对服务器性能造成影响，服务器不是一次性将 ht[O] 里面的所有键值对全部rehash到ht[1]，而是分多次、渐进式地将 ht[0] 里面的键值对慢慢地 rehash 到 ht[1] 。

渐进式 rehash 的详细步骤:

1. 为 ht [1] 分配空间，让字典同时持有 ht[0] 和 ht[1] 两个哈希表。

2.  在字典中维持一个 rehashidx ，并将它的值设置为0 ，表示rehash工作正式开始。

      3. 在 rehash 进行期间，每次对字典执行添加、删除、查找或者更新操作时，程序除 了执行指定的操作以外，还会顺带将  ht[0] 哈希表在 rehashidx 索引上的一个键值对 rehash 到 ht [1] ，当rehash 工作完成之后，程序将 rehashidx 属性的值增一，redis databasesCron 函数也会定时做dictRehash。

4. 随着字典操作的不断执行，最终在某个时间点上，ht [0]的所有键值对都rehash至ht [1]，这时程序将rehashidx 属性的值设为 -1，表示rehash 操作已完成。 渐进式 rehash 的好处在于它采取分而治之的方式，将 rehash 键值对所需的计算工作均摊到对字典的每个添加、删除、查找和更新操作上，从而避免了集中式rehash 而带来的庞大计算量。