redis 底层数据结构详解

法毅的博客

已于 2023-04-09 14:35:05 修改

阅读量989

点赞数

分类专栏：数据库 java基础文章标签： redis 数据库缓存

于 2023-04-02 14:58:44 首次发布

本文链接：https://blog.csdn.net/sinat_35395498/article/details/129904303

版权

java基础同时被 2 个专栏收录

30 篇文章 0 订阅

订阅专栏

数据库

12 篇文章 0 订阅

订阅专栏

文章详细介绍了Redis中几种主要的数据结构，包括字符串SDS的定义和优势，列表的实现和多态特性，字典的哈希表底层实现、rehash机制，以及跳跃表在有序集合中的应用和压缩列表在节省内存方面的设计。重点讨论了这些数据结构如何支持高效的操作和存储。

摘要由CSDN通过智能技术生成

扩展或收缩哈希表需要将ht[0]里面的所有键值对rehash到ht[1]里面，但是，这个rehash动作并不是一次性、集中式地完成的，而是分多次、渐进式地完成的。

4.跳跃表

4.1 跳跃表-zskiplistNode

4.2 跳跃表 - zskiplist

5.压缩列表

1.字符串

Redis没有直接使用C语言传统的字符串表示（以空字符结尾的字符数组，以下简称C字符串），而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的抽象类型（对象），并将SDS用作Redis的默认字符串表示。
在Redis里面，C字符串只会作为字符串字面量（string literal）用在一些无须对字符串值进行修改的地方，比如打印日志，当Redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，Redis就会使用SDS来表示字符串值。
除了用来保存数据库中的字符串值之外，SDS还被用作缓冲区（buffer）：AOF模块中的AOF缓冲区，以及客户端状态中的输入缓冲区，都是由SDS实现的

1.1 SDS定义

struct sdshdr {
    //SDS所保存字符串的长度
    int len;

    // 记录buf数组中未使用字节的数量
    int free;

    // 字节数组，用于保存字符串
  char buf[];
};

1.2 SDS1好处

C 语言的字符串如果想要得到他的长度，需要进行遍历，意味着时间复杂度为 o(N)。如果使用sds，我们的长度直接从len属性里获取，o(1). 本质上，其实就是多了一个len属性，保存了我们的字符串的长度；
C语言的字符串如果进行我们的扩展（增加字符串的长度）或者缩减（减少字符串的长度）。进行扩展：我们必须要提前分配内存空间，一旦忘了分配，造成缓冲区溢出；进行缩减：必须要有意识的进行空间的释放，否则造成空间浪费。无论是进行扩展还是缩减，都需要进行内存的重新分配，耗时啊。 SDS 来说，他不会造成缓冲区溢出的问题，是封装好的对象，他已经为我们考虑了这部分内存的扩展及缩减问题。
二进制安全问题。C 语言来说，他的字符串是二进制不安全的，因为C语言的空字符结尾的设计，如果一个字符串中间有空字符串，那么 c语言的字符串的二进制转化会遗弃第一个空字符出现的后边的所有内容。举例： m \0 s g \0. 如果是 C语言进行二进制转化，只对 m 进行转化； SDS 就不是啦，我们是自己封装的对象，我们能支持二进制的安全性，我能全部进行转化。

2.列表

列表键的底层实现就是一个链表，链表中的每个节点都保存了一个数值

typedef struct list {
    // 表头节点
    listNode * head;
    // 表尾节点
    listNode * tail;
    // 链表所包含的节点数量
    unsigned long len;
    // 节点值复制函数
    void *(*dup)(void *ptr);
    // 节点值释放函数
    void (*free)(void *ptr);
    // 节点值对比函数
    int (*match)(void *ptr,void *key);
} list;

typedef struct listNode {
    // 前置节点
    struct listNode * prev;
    // 后置节点
    struct listNode * next;
    // 节点的值
    void * value;
}listNode;

2.1 void 实现多态

void 这里代表的是多态。如果你在java里想复制一个值，那么你是不是要么知道这个值的类型，要么你使用 object 。对于 redis 来说，由于 list 里可以存放各种类型的数值，那么，如果你要进行多种类型值的一些统一操作的话，需要使用 void 的返回值类型，这里体现了我们多态的一个性质。

3 字典

3.1 底层实现是hash表

Redis的字典使用哈希表作为底层实现，一个哈希表（dictht）里面可以有多个哈希表节点（dictEntry ），而每个哈希表节点（dictEntry ）就保存了字典中的一个键值对。

Redis字典所使用的哈希表由dict.h/dictht结构定义：

Redis字典所使用的哈希表由dict.h/dictht结构定义：
typedef struct dictht {
    // 哈希表节点组成的数组
    dictEntry **table; // 
    // 哈希表大小
    unsigned long size;
    //哈希表大小掩码，用于计算索引值 总是等于size-1
    unsigned long sizemask;
    // 该哈希表已有节点的数量（非null节点）
    unsigned long used;
} dictht;


哈希表节点使用dictEntry结构表示，每个dictEntry结构都保存着一个键值对：
typedef struct dictEntry {
    // 键
    void *key;
    // 值
    union{
        void *val;
        uint64_tu64;
        int64_ts64;
    } v;
    // 指向下个哈希表节点，形成链表 （hash 冲突，链地址法）
    struct dictEntry *next;
} dictEntry;

3.2 字典结构

字典，是基于 hash 表的结构上，再次进行的一层封装

Redis中的字典由dict.h/dict结构表示：  
typedef struct dict {
    // 类型特定函数
    dictType *type;
    // 私有数据
    void *privdata;
    // 哈希表数组，包含两个 dictht
    dictht ht[2]; 
    // rehash索引当rehash不在进行时，值为-1
    int rehashidx; 
} dict;


type属性是一个指向dictType结构的指针，每个dictType结构保存了一簇用于操作特定类型键值对的函数，Redis会为用途不同的字典设置不同的类型特定函数。
·而privdata属性则保存了需要传给那些类型特定函数的可选参数。
typedef struct dictType {
    // 计算哈希值的函数
    unsigned int (*hashFunction)(const void *key);
    // 复制键的函数
    void *(*keyDup)(void *privdata, const void *key);
    // 复制值的函数
    void *(*valDup)(void *privdata, const void *obj);
    // 对比键的函数
    int (*keyCompare)(void *privdata, const void *key1, const void *key2);
    // 销毁键的函数
    void (*keyDestructor)(void *privdata, void *key);

ht属性是一个包含两个哈希表的数组，数组中的每个项都是一个dictht哈希表，一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用。
除了ht[1]之外，另一个和rehash有关的属性就是rehashidx，它记录了rehash目前的进度，如果目前没有在进行rehash，那么它的值为-1。

3.3 哈希算法

当要将一个新的键值对添加到字典里面时，程序需要先根据键值对的键计算出哈希值和索引值，然后再根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上面

计算哈希值的函数：int hashValue = unsigned int (*hashFunction)(const void *key);
获取最终的hash 值： hashValue & ht[x].sizemask。