1、字典,又称为符号表、关联数组、映射,是一种用于保存键值对的抽象数据结构。由于C语言里并没有内置字典这种数据结构,因此redis构建了自己的字典实现
2、reids的数据库就是使用字典来作为底层实现的,对数据库的增、删、改、查操作也是构建在对字典的操作之上的
例如:SET msg "hello world" //在数据库中创建一个键为"msg",值为"hello world"的键值对,这个键值对就保存在代表数据库的字典里
3、除了用来表示数据库,字典还是哈希键的底层实现之一,此外,redis的其他不上功能也用到了字典这一数据结构
4、字典的实现
1)字典使用哈希表作为底层实现,一个哈希表里可以有多个哈希表节点,而每个哈希表节点就保存了字典中的一个键值对
2)字典
redis中字典由dict结构体表示(参考上图dict结构部分):
typedef struct dict {
// 类型特定函数
dictType *type;
// 私有数据,保存了需要传给那些类型特定函数的可选参数
void *privdata;
// 哈希表,一个包含两个元素的数组,每个元素都是一个dictht哈希表结构,字典只使用ht[0]哈希表,ht[1]用于rehash
dictht ht[2];
//记录类rehash目前的进度, 当 rehash 不在进行时,值为 -1
int rehashidx; /* rehashing not in progress if rehashidx == -1 */
// 目前正在运行的安全迭代器的数量
int iterators; /* number of iterators currently running */
} dict;
其中,type和privdata属性针对不同类型的键值对,为创建多态字典而设置;
type属性是一个指向dictType结构的指针,每个dictType结构保存了一簇用于操作特定类型键值对的函数,redis会为用途不同的字典设置不同的类型特定函数
typedef struct dictType {
// 计算哈希值的函数
unsigned int (*hashFunction)(const void *key);
// 复制键的函数
void *(*keyDup)(void *privdata, const void *key);
// 复制值的函数
void *(*valDup)(void *privdata, const void *obj);
// 对比键的函数
int (*keyCompare)(void *privdata, const void *key1, const void *key2);
// 销毁键的函数
void (*keyDestructor)(void *privdata, void *key);
// 销毁值的函数
void (*valDestructor)(void *privdata, void *obj);
} dictType;
3)哈希表
/* This is our hash table structure. Every dictionary has two of this as we
* implement incremental rehashing, for the old to the new table. */
/*
* 哈希表
*
* 每个字典都使用两个哈希表,从而实现渐进式 rehash 。
*/
typedef struct dictht {
// 哈希表数组,数组中每个元素都是一个指向dictEntry结构的指针,每个dictEntry结构保存着一个键值对
dictEntry **table;
// 哈希表大小,即table数组中元素个数
unsigned long size;
// 哈希表大小掩码,用于计算索引值
// 总是等于 size - 1,用于计算索引值,和哈希值一起决定键值对放在table数组的哪个位置
unsigned long sizemask;
// 该哈希表已有节点(键值对)的数量
unsigned long used;
} dictht;
4)哈希表节点:dictEntry结构
/* This is our hash table structure. Every dictionary has two of this as we
* implement incremental rehashing, for the old to the new table. */
/*
* 哈希表
*
* 每个字典都使用两个哈希表,从而实现渐进式 rehash 。
*/
typedef struct dictht {
// 哈希表数组,数组中每个元素都是一个指向dictEntry结构的指针,每个dictEntry结构保存着一个键值对
dictEntry **table;
// 哈希表大小,即table数组中元素个数
unsigned long size;
// 哈希表大小掩码,用于计算索引值
// 总是等于 size - 1,用于计算索引值,和哈希值一起决定键值对放在table数组的哪个位置
unsigned long sizemask;
// 该哈希表已有节点(键值对)的数量
unsigned long used;
} dictht;
5、哈希算法
如何使用哈希算法将一个键值对放到字典结构里,以下链接给出了详细的介绍:http://redisbook.com/preview/dict/hash_algorithm.html
6、rehash(重新散列/再散列)
随着操作的不断执行,哈希表保存的键值对会逐渐增加或减少,为了让哈希表的负载因子维持在一个合理的范围之内,当哈希表保存的键值对数量太多或太少时,需要对哈希表的大小进行相应的扩展或收缩,通过rehash来实现扩展或收缩
rehash步骤
1)为字典的 ht[1] 哈希表分配空间, 这个哈希表的空间大小取决于要执行的操作, 以及 ht[0] 当前包含的键值对数量 (也即是 ht[0].used属性的值):
如果执行的是扩展操作, 那么 ht[1] 的大小为第一个大于等于 ht[0].used * 2 的 2^n (2 的 n 次方幂);
如果执行的是收缩操作, 那么 ht[1] 的大小为第一个大于等于 ht[0].used 的 2^n 2
2)将保存在 ht[0] 中的所有键值对 rehash 到 ht[1] 上面: rehash 指的是重新计算键的哈希值和索引值, 然后将键值对放置到 ht[1] 哈希表的指定位置上。
3)当 ht[0] 包含的所有键值对都迁移到了 ht[1] 之后 (ht[0] 变为空表), 释放 ht[0] , 将 ht[1] 设置为 ht[0] , 并在 ht[1] 新创建一个空白哈希表, 为下一次 rehash 做准备。
7、渐进式rehash
rehash动作并不是一次性,集中式完成,而是分多次、渐进式完成。因为如果哈希表里保存了百万、千万的键值对,那么要一次性将这些键值对rehash到ht[1],庞大当计算量可能会导致服务器在一段时间内停止服务。因此为了保证服务器性能,redis采用渐进式rehash
具体过程参考链接:http://redisbook.com/preview/dict/incremental_rehashing.html,图文结合,很详细
参考《redis设计与实现》