Redis底层数据结构---哈希表底层原理

哈希表

结构定义

typedef struct dictht{
	//哈希表数组
    dictEntry **table;
    //哈希表大小
    unsigned long size；
    //哈希表大小掩码，用于计算索引值
    unsigned long sizemask；
    //该哈希表已有节点的数量
   unsigned long used ;
}dictht 

table 属性是一个数组 ，数组中的每个元素都是一个指向dict.h/dictEntry结构的指针，每个dictEntry结构都保存键值对。

dictEntry数据结构

typedef struct dictEntry {
	//键
    void * key;
    //值
    union{
    void  * val;
    uint64_t u64;
    int64_t s64;
    }
    //指向下一个哈希表节点，形成链表，用来解决哈希冲突
    struct dictEntry *next;
}dictEntry;

* 键值对中的值可以是一个指向实际值的指针，或者是一个无符号的64位整数或有符号的64位整数或者double类的值，这样做的好处是可以节省内存空间，因为当值是整数或者浮点数时，可以将值的数据内嵌在dictEntry结构里面，无需在用一个指针指向实际的值，从而节省了内存空间。

字典的数据结构

typedef struct dict{
	//类型特定函数
    dictType * type;
    //私有数据
    void * privdata；
    //哈希表，用来解决rehash
    dicth ht[2];
    //rehash索引，当rehash不在进行时，值为-1
    int trehashind ;      
}

type属性和privdata属性是针对不同类型的键值对，为了创建多态字典而设置的：

• type属性指向dictType结构的指针，每个dictType结构保存了一簇用与操作特定类型键值对的函数，Redis会为了通途不同的字典设置不同的类型特定函数。
• privdata属性则保存了需要传给那些类型特定函数的可选参数。

typedf struct dictType{
	//计算哈希值的函数
    unsigned int (*hashFunction)(const void *key);
    //复制键的函数
    void *(*keyDup)(void * privdata,const void *key);
    //复制值的函数
    void *(*valDup)(void * privdata,const void *obj);
    //对比键的函数
    int (*keyCompare)(void * privdata,const void * key1,const void * key2);
    //销毁键的函数
    void (*keyDestructor)(void *privdata,void *key);
    //销毁值的函数
    void (*valDestructor)(void *privdata,void *obj);  
}dictType;

• ht属性是一个包含两个项的数组，数组中的每个项都是一个dictht哈希表，一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用。
• rehashidx用于记录rehash目前的进度，如果目前没有进行rehash，那么值为-1、

解决哈希冲突

Reids哈希表使用链地址法来解决哈希冲。

因为dictEntry节点组成的链表没有没有指向链表表尾的指针，所以为了速度考虑，程序总是将新节点添加到链表的表头位置，排在其他已有节点的前面。

REHASH

为了让哈希表的负载因子维持在一个合理的范围内，当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩。扩展和收缩哈希表的工作可以通过执行rehash(重新散列)操作来完成，Redis对字典的哈希表执行rehash的步骤

1. 为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对数量（可以通过ht[0].used属性的值得到）

1. 1. 如果执行的是扩展操作，那么ht[1]的大小为第一个大于等于ht[0].used*的2的n次方。
   2. 如果执行的是收缩操作，那么ht[1]的大小为第一个大于等于ht[0].used的2的n次方。

1. 将保存在ht[0]中的所有键值对rehash到ht[1]上面：rehash指的是重新计算键的哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置上。
2. 当ht[0]包含的键值对都迁移到了ht[1]之后（ht[0]变成了空表）,释放ht[0],将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表，为下一次rehash做准备。

哈希表的扩展与收缩

当满足以下任意一个条件的时候，程序会自动开始对哈希表执行扩展操作：

• 服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1.
• 服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于5。

根据BGSAVE命令或者BGREWRITEAOF命令是否正在执行，服务器执行扩展操作所需的负载因子并不相同，这是因为在执行BGSAVE命令或BGREWRITEAOF命令的过程中，Redis需要创建当前服务器的子进程，而大多数操作系统都采用写时复制技术来优化子进程的使用效率，所以在子进程存在期间，服务器会提高执行扩展操作所需的负载因子，从而尽可能地避免在子进程存在期间进行哈希表扩展操作，这可以避免不必要的内存写入操作，最大限度地节约内存。

渐进式rehash

当哈希表里面存在的键值对过多的时候，要一次性将这些键值对全部rehash到ht[1]的话，庞大的计算量可能会导致服务器在一段时间内停止服务。因此为了避免rehash对服务器性能造成影响，服务器不是一次性将ht【0】里面的所有键值对全部rehash到ht【1】，而是分多次、渐进式地将ht【0】里面的键值对慢慢地rehash到ht【1】。

1. 为ht【1】分配空间，让字典同时持有ht【0】和ht【1】两个哈希表。
2. 在字典中维持一个索引计数器变量rehashidx，并将它的值设置为0，表示rehah工作正式开始。

1. 在rehash进行期间，每次对字典执行添加、删除、查找或者更新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashindx索引上的所有键值对rehahs到ht[1],当rehash工作完成之后，程序将rehashidx属性的值增一。
2. 随着字典操作的不断进行，最终在某个时间点上，ht[0]的所有键值对都会全部被rehash至ht[1],这时程序将rehashidx属性的值设置为-1，表示rehash操作完成。

渐进式rehash执行期间的哈希表操作

在渐进式rehash进行期间，字典的删除、查找、更新等操作会在两个哈希表上进行。（程序会优先在ht[0]上进行操作，如果目标不存在ht[0]的话，就会继续到ht[1]里面进行查找）。

在渐进式rehash执行期间，新添加到字典的键值对一律会被保存到ht[1]里面。而ht[0]则不在进行任何添加操作。