redis的基本数据结构 字典

概念

字典又称为符号表和关联数组或者映射，是一种用于保存键值对的抽象数据结构。

字典相对于数组，链表来说，是一种较高层次的数据结构，像我们的汉语字典一样，可以通过拼音或偏旁唯一确定一个汉字，在程序里我们管每一个映射关系叫做一个键值对，很多个键值对放在一起就构成了我们的字典结构。C语言中并没有内置这种数据结构，于是Redis中构建了属于自己的字典。

有很多高级的字典结构实现，例如我们 Java 中的 HashMap 底层实现，根据键的 Hash 值均匀的将键值对分散到数组中，并在遇到哈希冲突时，冲突的键值对通过单向链表串联，并在链表结构超过八个节点裂变成红黑树。

字典的实现结构

Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典中的一个键值对。

哈希表

Redis 字典所使用的哈希表由 dict.h/dictht 结构定义:

typedef struct dictht{
	dictEntry **table;//哈希表数组
	unsigned long size;//哈希表大小
	unsigned long sizemask;//用于计算索引值，总是等于size-1
	unsigned long used;//哈希表已有的节点数量
} dictht;

• table 属性是一个数组, 数组中每个元素都是一个指向 dictEntry 结构的指针, 每个dictEntry结构保存着一个键值对；
• size属性记录了哈希表的大小，也就是table数组的大小
• sizemask属性和哈希值一起决定一个键应该被放到table数组的哪个索引上面
  

哈希表节点

哈希表节点使用dictEntry表示，每个dictEntry 结构保存着一个键值对

typedef struct dicEntry{
	void *key;         //键
	union {            //值
		void *val;
		uint_64 u64;
		int64_t s64;
	}v;
	struct dictEntry *next;//指向下个哈希表节点，形成链表
}

• 注意v属性则保存着键值对中的值，其中键值(v属性)可以是一个指针，或uint64_t整数，或int64_t整数。
• next属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接在一起，解决键冲突问题。

字典

Redis中的字典由dict.h/dict结构表示

typedef struct dict{         //类型特定函数
         void *type;         //私有数据
         void *privdata;         //哈希表
         dictht ht[2];         // rehash 索引
         int  trehashidx; 
 }dict;

• type和privdata 是针对不同类型的键值对，为创建多态字典而设置的
  type 指向一个dictType结构的指针，每个 dictType结构保存了一簇用于操作特定类型键值对的函数，Redis会为用途不同的字典设置不同的类型特定函数。

  而privdata属性则保存了需要传给那些类型特定函数的可选参数

   typedef struct dictType{         
        	 //计算哈希值的函数 
           unsigned int  (*hashFunction) (const void *key);        
           //复制键的函数
           void *(*keyDup) (void *privdata,const void *key);         
           //复制值的函数
           void *(*valDup) (void *privdata,const void *obj);          
           //复制值的函数
           void *(*keyCompare) (void *privdata,const void *key1, const void *key2);         
           //销毁键的函数
           void (*keyDestructor) (void *privdata, void *key);         
           //销毁值的函数
           void (*keyDestructor) (void *privdata, void *obj);
        }dictType;
  
  

• ht属性是一个包含两个项的数组，数组中的每个项都是一个dictht哈希表， 一般情况下，字典只使用ht[0] 哈希表, ht[1]哈希表只会对ht[0] 哈希表进行rehash时使用。

• rehashidx属性，它记录了rehash目前的进度，如果目前没有进行rehash，值为-1
  

字典中常用的几个方法

哈希算法

当要将一个新的键值对添加到字典里面时，程序需要先根据键值对的键计算出哈希值和索引值，然后再根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上面。

# 使用字典设置的哈希函数，计算键key的哈希值
hash = dict->type->hashFunction(key);

# 根据哈希表的sizemask属性和哈希值，计算出索引值
# 根据情况不同，ht[x]可以是ht[0]或者ht[1]
index = hash & dict->ht[x].sizemask;

当字典被用作数据库的底层实现，或者哈希键的底层实现时，Redis使用MurmurHash2算法来计算键的哈希值。这种算法的有点在于即使输入的键是有规律的，算法仍能给出一个很好的随机分布性的哈希值，并且算法的计算速度也很快。

解决键冲突

当有两个或者以上数量的键被分配到了哈希表数组的同一个索引上面时，我们称这些键发生了冲突。

redis的哈希表使用链地址法来解决键冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成一个单向链表，被分配到同一个索引上的多个节点可以用这个单向链表连接起来，这就解决了键值冲突的问题。

rehash

基本操作

随着操作的不断执行，哈希表保存的键值对会逐渐地增多或者减少，为了让哈希表的负载因子维持再一个合理的范围之内，当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩。

扩展和收缩哈希表的工作可以通过执行rehash（重新散列）操作来完成，Redis对字典的哈希表执行rehash的步骤如下：

• 1、为字典ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及
  ht[0]当前包含的键值对数量（ht[0].used的属性值）：

    1. 若是扩展操作，那么ht[1]的大小为>=ht[0].used*2的2^n（n的取值使得右边最小）
    2. 若是收缩操作，那么ht[1]的大小为>=ht[0].used的2^n
  

  比如used为7 那么新表大小为8=2^3>7

• 2、将保存在ht[0]中的所有键值对rehash到ht[1]中，rehash指重新计算键的哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置上。

• 3、当ht[0]的所有键值对都迁移到了ht[1]之后（ht[0]变为空表），释放ht[0]，将ht[1]设置为ht[0],新建空白的哈希表ht[1]，以备下次rehash使用。

rehash的条件

负载因子： used / 表大小，满足一个即可：

1）没有执行BGSAVE或者BGREWRITEAOF命令时，负载因子大于等于1

2）执行了上诉两个命令，且负载因子大于等于5

3）负载因子小于0.1时，自动收缩

当BGSAVE或者BGREWRITEAOF命令在执行时，服务器执行扩展操作所需要的负载因子并不相同。原因时Redis需要创建当前服务器进程的子进程，而大多数操作系统都采用写时复制技术来优化子进程的使用效率，所以在子进程存在期间，服务器会提高执行扩展操作所需的负载因子，从而尽可能地避免在子进程存在期间进行哈希表扩展操作，这样可以避免不必要的内存写入操作，最大限度的节约内存。

渐进式hash（利用）

扩展或收缩哈希表需要将ht[0]里面的所有的键值对rehash到ht[1]里面，但是，为了避免rehash对服务器性能造成影响，这个rehash的动作并不是一次性、集中式的完成，而是分多次、渐进式的完成的。

详细步骤：

1. 为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表
2. 在字典中位置一个索引计数器变量rehashidx，并将她的值设置为0，表示rehash工作正式开始。
3. 在rehash进行期间，每次对字典执行添加、删除、查询或者更新操作时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，当rehash工作完成之后，将rehashidx属性增一。
4. 随着字典操作的不断执行，最终在某个时间点上，ht[0]的所有键值对都会被rehash至ht[1]，这时程序将rehashidx属性的值设为-1，表示rehash操作已完成。

在渐进式hash执行期间：新添加到字典的键值对一律会被保存到ht[1]里面，而ht[0]则不再进行任何添加操作，这一个措施保证了ht[0]包含的键值对对数量会只减不增，并随着rehash操作的执行而最终变成空表。

总结