Redis-底层数据结构-字典

最新推荐文章于 2024-10-31 14:53:53 发布

shiwentong

最新推荐文章于 2024-10-31 14:53:53 发布

阅读量165

点赞数

文章标签： redis

本文链接：https://blog.csdn.net/shiwentong/article/details/107460636

版权

字典

字典的实现
哈希算法
解决键冲突
rehash
渐进式rehash

字典又称为符号表(symbol table)、关联数组(associative array)、或映射(map)，是一种用于保存键值对(key-value pair)的抽象数据结构。
在字典中，一个键(key)可以和一个值(value)进行关联，这些关联的键和值被称为键值对。

字典的实现

Redis的字典使用哈希表作为底层实现，一个哈希表里可以有多个哈希表节点，每个哈希表节点保存了字典中的一个键值对。

哈希表

typedef struct dictht{
	// 哈希表数组
	dictEntry **table;
	
	// 哈希表大小
	unsigned long size;
	
	// 哈希表大小掩码，用于计算索引值
	// 总是等于size-1
	unsigned long sizemask;
	
	// 该哈希表已有节点的数量
	unsigned long used;
	
} dictht;

table属性是一个数组，数组中的每个元素都是一个指向dictEntry(哈希表节点)的指针，每个dictEntry结构保存着一个键值对。size属性记录了哈希表的大小，used属性记录了哈希表目前已有节点的数量。sizemask属性的值总是等于size-1，sizemask属性和哈希值一起决定一个键子在table数组中的索引位置。

图4-1展示了一个size为4的空哈希表在这里插入图片描述

哈希表节点

typedef struct dictEntry{
	// 键
	void *key;
	
	// 值
	union{
		void *value;
		uint64_t u64;
		int64_t s64;
	} v;
	
	// 指向下个哈希表节点，形成列表
	struct dictEntry *next;
	
} dictEntry;

key属性保存键值对中的键，v属性保存键值对中的值，其中键值对中的值可以是一个指针，或者是一个uint64_t 整数，又或者是一个int64_t 整数。
next属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接起来，以此来解决键冲突问题。
图4-2展示了通过next指针连接两个哈希值相同的键值对的场景。
在这里插入图片描述

字典

typedef struct dict{
	// 类型特定函数
	dictType *type;

	// 私有数据
	void *privdata;
	
	// 哈希表
	dictht ht[2];
	
	// rehash索引
	// 值为-1时表示未进行rehash
	int rehashidx;
	
} dict;

ht属性是一个元素为dictht哈希表的数组，一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只在对ht[0]哈希表进行rehash时使用。
rehashidx属性记录了rehash目前的进度，当前未进行rehash，值为-1。

图4-3展示了普通状态下（未进行rehash）的字典。
在这里插入图片描述

哈希算法

当要将一个新的键值对添加到字典里面，程序需要先根据键值对的键计算出哈希值和索引值，再将包含键值对的哈希表节点置于制定的索引位置。

使用字典设置的哈希函数，计算出键的哈希值。
使用哈希表的sizemask属性和哈希值进行与运算（&），计算出索引值

当字典被用作数据库的底层实现，或者哈希对象的底层实现时，Redis使用MurmurHash2算法来计算键的哈希值。

解决键冲突

当两个或以上数量的键被分配到了哈希表数据里的相同索引位置时，称这些键发生了冲突。
Redis的哈希表使用链地址法解决键冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以使用next指针构成一个单向列表，被分到同一索引位置的多个节点使用单向列表连接。
因为dictEntry节点组成的列表没有没有指向列表结尾的指针，所以为了速度考虑，程序总是将新节点添加到链表的表头位置。

图4-6、4-7展示了k1和k2冲突时的处理场景。
在这里插入图片描述

rehash

当哈希表中保存的键值对过多或者过少时，程序需要对哈希表进行rehash（重新散列），以保证哈希表的负载因子维持在一个合理的范围。

rehash的步骤：
1、为字典的ht[1]哈希表分配空间

如果执行扩展操作，那么ht[1]的大小为第一个大于等于ht[0].used*2的2^n（2的n次方）。
如果执行收缩操作，那么ht[1]的大小为第一个大于等于ht[0].used的2^n。

2、将保存在ht[0]中的所有键值对rehash到ht[1]上：rehash指的是重新计算键的哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置。
3、当ht[0]包含的所有键值对都迁移到了ht[1]之后，释放ht[0]，将ht[1]设置为ht[0]，并在ht[1]新创建一个空白哈希表，为下次rehash作准备。

图4-8到4-11展示了程序对字典的进行ht[0]进行扩展操作的rehash流程：
在这里插入图片描述

哈希表的扩展和收缩
当以下条件中的任意一个条件被满足，程序会自动对哈希表进行扩展操作：
1）服务器目前没有执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1。
2）服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于5。

哈希表负载因子计算公式：

// 负载因子 = 哈希表已保存节点数量 / 哈希表大小
load_factor = ht[0].used / ht[0].size;

当哈希表的负载因子小于0.1时，程序自动开始对哈希表执行收缩操作。

渐进式rehash

因为Redis中的可能存储着大量的数据，将大量的数据从ht[0]全部rehash到ht[1]中可能会导致服务器在一段时间内停止服务。为了避免对服务器的性能造成影响，服务器分多次、渐进式的将ht[0]的键值对rehash到ht[1]中。

哈希表渐进式rehash步骤：
1、为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表。
2、在字典中维持一个索引计数器变量rehashidx，并将其设置为0，表示rehash工作这是开始。
3、在rehash进行期间，每次对字典进行添加、删除、查询或更新操作时，程序除了执行指定的操作外，还会顺带着将ht[0]哈希表在rehashidx的所有键值对rehash到ht[1]上，当rehash工作完成后，程序将rehashidx属性的值加1。
4、随着字典操作的不断执行，最终在某个时间点，ht[0]的所有键值对都会被rehash到ht[1]上，这是程序将rehashidx属性设置为-1，表示rehash工作完成。

图4-12到4-17展示了一次完整的rehash过程：
在这里插入图片描述

渐进式rehash执行期间的哈希表操作
渐进式rehash执行期间，字典会同时使用ht[0]和ht[1]两个哈希表，字典的删除、查找、更新等操作会在两个哈希表上进行。在ht[0]中没有找到的话，再去ht[0]中查找。
渐进式rehash执行期间，新增加到字典中的键值对一律保存到ht[1]中。