Redis设计与实现-chp2 字典

最新推荐文章于 2023-08-15 23:27:32 发布

missasd1

最新推荐文章于 2023-08-15 23:27:32 发布

阅读量270

点赞数

分类专栏：数据库文章标签： redis 字典 rehash

本文链接：https://blog.csdn.net/missasd1/article/details/108544479

版权

数据库专栏收录该内容

5 篇文章 0 订阅

订阅专栏

第四章字典

字典在Redis中的应用相当广泛，比如Redis的数据库就是使用字典来作为底层实现的，对数据库的增、删、查、改操作也是构建在对字典的操作之上的。

在redis中创建键值对

set msg "hello world"
get msg
>"hello world"

在数据库中创建一个键为"msg"，值为"hello world"的键值对时，这个键值对就是保存在代表数据库的字典里面的。

SET 和 HSET 和 HMSET的区别：

SET 就是普通的以键-值对方式存储数据，可以设置过期时间。时间复杂度为 O(1)，

# 将哈希表key中的域field的值设为value。
HSET  key field-value

# 同时将多个field - value(域-值)对设置到哈希表key中。
HMSET key field1 value1 field2 value2 ...

# 获取存储在指定key哈希表中指定field字段的值。
HGET key field

# 获取在哈希表中指定 key 的所有字段和值
HGETALL key

字典还是哈希键的底层实现之一

# 使用HMSET 创建一个包含多个键值对的哈希键

4.1 字典的实现

Redis的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，而每个哈希表节点就保存了字典中的一个键值对

字典-哈希表-哈希表节点

4.1.1 哈希表

Redis字典所使用的哈希表由dict.h/dictht结构定义：

typedef struct dictht{
    // 哈希表数组
    dictEntry **table;
    // 哈希表大小
    unsigned long size;
    // 哈希表掩码，用于计算索引值
    // 总是等于size-1
    unsigned long sizemask;
    // 该哈希表已有节点的数量
    unsigned long used;
}dictht;

dicthtj结构

table属性是一个数组，数组中的每个元素都是一个指向dict.h/dictEntry结构的指针，每个dictEntry结构保存着一个键值对

4.1.2 哈希表节点

哈希表节点使用dictEntry结构表示，每个dictEntry结构都保存着一个键值对：

typedef struct dictEntry{
    // 键
    void *key;
    // 值
    union{
        void *val;
        uint64_tu64;
        int64_ts64;
    }v;
    // 指向下个哈希表节点，形成链表
    struct dictEntry *next;
}dictEntry;

key属性保存着键值对中的键，而v属性则保存着键值对中的值，其中键值对的值可以是一个指针，或者是一个uint64_t整数，又或者是一个int64_t整数。

next属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接在一次，以此来解决键冲突（collision）的问题。

在这里插入图片描述

4.1.3 字典

Redis中的字典由dict.h/dict结构表示：

typedef struct dict{
    // 类型特定函数
    dictType *type;
    // 私有数据
    void *privdata;
    // 哈希表
    dictht ht[2];
    // rehash索引
    // 当rehash不在进行时，值为-1
    in trehashidx; // rehashing not in progress if rehashidx == -1
}dict

type属性和privdata属性是针对不同类型的键值对，为创建多态字典而设置的：

type属性是一个指向dictType结构的指针，每个dictType结构保存了一簇用于操作特定类型键值对的函数；Redis会为用途不同的字典设置不同的类型特定函数
privdata属性：保存了需要传给那些类型特定函数的可选参数

dictType

typedef struct dictType{
    // 计算哈希值的函数;const表示只读
    unsigned int (*hashFunction)(const void *key);
    // 复制键的函数
    void *(*keyDup) (void *privdata, const void *key);
    // 复制值的函数
    void *(*valDup) (void *privdata, const void *obj);
    // 对比键的函数
    int (*keyCompare) (void *privdata, const void *key1, const void *key2);
    // 销毁键的函数
    void (*keyDestructor)(void *privdata, void *key);
    // 销毁值的函数
    void (*valDestructor)(void *privdata, void *obj);
    
}dictType;

ht属性

ht属性是一个包含两个项的数组，数组中的每个项都是一个dictht哈希表
一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用
rehashidx属性：记录了rehash目前的进度，如果如前没有在进行rehash，那么它的值为-1；

在这里插入图片描述

rehash

rehash相关的属性为：ht[1]、rehashidx

4.2 哈希算法

将一个新的键值对添加到字典里面时，

程序需要先根据键值对的键计算出哈希值和索引值，

然后根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上；

Redis计算哈希值和索引值的方法：

# 使用字典设置的哈希函数，计算键key的哈希值
hash = dict -> type -> hashFunction(key);

# 使用哈希表的sizemask属性和哈希值，计算出索引值
#根据情况不同，ht[x]可以是ht[0]或者是ht[1]
index = hash & dict -> ht[x].sizemask;

# 例如
# 首先计算hash值
hash = dict -> type -> hashFunction(key); # 哈希值为8
# 根据hash值和sizemask计算索引值
hash = dict -> type -> hashFunction(key); # 8 & 3 = 0;索引值为0

在这里插入图片描述

当字典被用作数据库的底层实现，或者哈希键的底层实现时，Redis使用MurmurHash2算法来计算键的哈希值。

MurmurHash2：

4.3 键冲突

冲突：当有两个以上数量的键被分配到哈希表数组的同一个索引上面时，称这些键发生了冲突；

链地址法：

每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成一个单项链表，被分配到同一个索引上的多个节点可以用这个单向链表连接起来。

构建单向链表的时候：因为dictEntry节点组成的链表没有指向链表表尾的指针，所以采用头插法每次将新节点添加到链表的表头位置；

在这里插入图片描述

4.4 rehash

负载因子：

哈希表键值对数量 / 哈希表大小
负载因子越大，证明存入的键值对越多，哈希冲突的可能性越高
负载因子越小，证明哈希表越稀疏，空间利用月底
负载因子需要维持在合理水平

扩展和收缩哈希表：

1）为字典的ht[1]哈希表分配空间，ht[1]的大小取决于：

如果执行的是扩展操作，则ht[1] 的容量为第一个大于等于 ht[0].used * 2 的2的幂；
如果执行的是收缩操作，则ht[1]的容量为第一个大于等于ht[0].used的2的幂；

2）将保存在ht[0]的所有键值对rehash到ht[1]上面。rehash是指重新计算hash值和索引值，然后将键值对放置到ht[1]的指定位置上；

3）当ht[0]包含的所有键值对都迁移到了ht[1]之后（ht[0]为空），释放ht[0]，将ht[1]设置为ht[0], 并在ht[1]新建一个空白的哈希表，为下一次rehash做准备

扩展和收缩的时机：

以下条件任意一个被满足时，程序会自动进行哈希表的扩展和收缩

1）服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF，并且哈希表的负载因子大于等于1.

2）服务器目前在执行BGSAVE命令或者BGREWRITEAOF，并且哈希表的负载因子大于等于5；

BGSAVE命令：

用于在后台异步保存当前数据库的数据到磁盘

BGSAVE命令执行之后立即返回OK，然后Redis fork出一个新线程，原来的Redis进程（父进程）继续处理客户端请求，而子进程则负责将数据保存到磁盘，然后退出；

BGREWRITEAOF命令：

用于异步执行一个AOF文件重写操作。

重写会创建一个当前AOF文件的体积优化版本，即使Bgrewriteaof执行失败，也不会有任何数据丢失，因为旧的AOF文件在 Bgrewriteaof命令成功之前不会被修改；从Redis2.4开始，AOF重写由Redis自行触发，BGREWRITEAOF命令仅仅用于手动触发重写操作；

根据BGSAVE或BGREWRITEAOF命令是否执行，服务器执行扩展操作所需的负载因子并不相同的原因：

在执行命令的过程中，Redis需要创建当前服务器线程的子进程，而大多数操作系统采用写时复制（copy on write)技术来优化子进程的使用效率，所以在子进程存在期间，服务器会提高进行扩展操作所需的负载因子，从而尽可能避免在子进程存在期间进行哈希表扩展存在，可以不必要的内存写入操作；

当负载因子小于0.1时，程序自动开始对哈希表进行收缩操作；

Copy on write 技术：

4.5 渐进式rehash

rehash时，服务器不是一次性将ht[0]里面的所有键值对全部rehash到h[1]，而是渐进式地将ht[0]里面的键值对慢慢地rehash到ht[1]。

渐进式rehash步骤：

1）为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表
2）在字典中维持一个索引计数器变量rehashidx，并将它的值置为0，表示rehash工作正式开始
3）在rehash进行期间，每次对字典执行增删改查时，程序除了执行指定的操作以外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，当rehash工作完成之后，将rehashidx属性的值加一。
随着字典操作的不断执行，最终在某个数据时间点上，ht[0]的所有键值对都会被rehash到ht[1]，这是程序将rehashidx属性的值设为-1，表示rehash操作执行完成；

在渐进式rehash过程中的查找与添加：

在渐进式rehash的过程中，字典会同时使用ht[0]和ht[1]，字典的CRUD查找会在两个哈希表上进行。例如查找一个键的话，会先在ht[0]里面进行查找，如果没找到的话，就会继续在ht[1]里面进行查找，诸如此类；

新添加到字典的键值对一律会被保存到ht[1]里面，而ht[0]不会进行任何添加查找，确保ht[0]包含的键值对数量只减不增，最终变成空表；