浅谈Redis五种数据结构的底层原理

uint64_t len;

uint64_t alloc;

unsigned char flags;

char buf[];

};

除掉第一个结构体（已经弃用），sds具体类型的结构可以分为以下部分：

• len：已使用的长度，即字符串的真实长度

• alloc：除去标头和终止符(’\0’)后的长度

• flags：低3位表示字符串类型，其余5位未使用（我暂时没发现redis在哪里使用过这个属性）

• buf[]：存储字符数据

这里和老版本做一下对比，因为我手头只有4.x和5.x的版本，它们sds的实现是一致的，但是据其他人说sds之前的版本实现方式不同，有时间我会去下载下来看一下，其将字符串分为以下部分：

• len：buf中已经占有的长度（表示此字符串的实际长度）

• free：buf中未使用的缓冲区长度

• buf[]：实际保存字符串数据的地方

redis同时写重写了大量的与sds类型相关的方法，那redis为什么要这么下功夫呢，有以下4个优点：

• 降低获取字符串长度的时间复杂度到O(1)

• 减少了修改字符串时的内存重分配次数

• 兼容c字符串的同时，提高了一些字符串工具方法的效率

• 二进制安全（数据写入的格式和读取的格式一致）

list

我们查看源文件可以看到有两个list，一个是ziplist，字面意是压缩列表，另一个是quicklist，字面意是快速列表，在redis中直接使用的是quicklist，但是我们先来看ziplist

ziplist

ziplist并不是一个类名，其结构是下面这样的： …

其中各部分代表的含义如下：

• zlbytes：4个字节（32bits），表示ziplist占用的总字节数

• zltail：4个字节（32bits），表示ziplist中最后一个节点在ziplist中的偏移字节数

• entries：2个字节（16bits），表示ziplist中的元素数 entry：长度不定，表示ziplist中的数据

• zlend：1个字节（8bits），表示结束标记，这个值固定为ff（255）

这些数据均为小端存储，所以可能有些人查看数据的二进制流与其含义对应不上，其实是因为读数据的方式错了

ziplist内部采取数据压缩的方式进行存储，压缩方式就不是重点了，我们仅从宏观来看，ziplist类似一个封装的数组，通过zltail可以方便地进行追加和删除尾部数据、使用entries可以方便地计算长度

但是其依然有数组的缺点，就是当插入和删除数据时会频繁地引起数据移动，所以就引出了quicklist数据类型

quicklist

其核心数据结构如下：

typedef struct quicklist {

quicklistNode *head;

quicklistNode *tail;

unsigned long count; /* ziplist所有节点的个数 */

unsigned long len; /* quicklistNode节点的个数 */

int fill : 16; /* 单个节点的填充因子 */

unsigned int compress : 16; /* 压缩端结点的深度 */

} quicklist;

我们可以明显地看出，quicklist是一个双向链表的结构，但是内部又涉及了ziplist，我们可以这么说，在宏观上，quicklist是一个双向链表，在微观上，每一个quicklist的节点都是一个ziplist

在redis.conf中，可以使用下面两个参数来进行优化：

• list-max-ziplist-size：表示每个quicklistNode的字节大小。默认为2，表示8KB

• list-compress-depth：表示quicklistNode节点是否要压缩。默认为0，表示不压缩

这种存储方式的优点和链表的优点一致，就是插入和删除的效率很高，而链表查询的效率又由ziplist来进行弥补，所以quicklist就成为了list数据结构的首选

hash

hash这种结构在redis的使用时最为常见，在redis中，hash这种结构有两种表示：zipmap和dict

zipmap

zipmap其格式形如下面这样： <zmlen><len>"foo"<len><free>"bar"<len>"hello"<len><free>"world"

各部分的含义如下：

• zmlen：1个字节，表示zipmap的总字节数

• len：1~5个字节，表示接下来存储的字符串长度

• free：1个字节，是一个无符号的8位数，表示字符串后面的空闲未使用字节数，由于修改与键对应的值而产生

这其中相邻的两个字符串就分别是键和值，比如在上面的例子中，就表示"foo" => "bar", "hello" => "world"这样的对应关系

这种方式的缺点也很明显，就是查找的时间复杂度为O(n)，所以只能当作一个轻量级的hashmap来使用

dict

这种方式就适于存储大规模的数据，其格式如下：

typedef struct dict {

dictType type;/ 指向自定义类型的指针，可以存储各类型数据 */

void privdata; / 私有数据的指针 */

dictht ht[2];/* 两个hash表，一般只有h[0]有效，h1[1]只在rehash的时候才有值 */

long rehashidx; /* -1：没有在rehash的过程中，大于等于0：表示执行rehash到第几步 */

unsigned long iterators; /* 正在遍历的迭代器个数 */

} dict;

如果我们不想更深入的话了解到这种程度就可以了，其中真正存储数据的是dictEntry结构，如下：

typedef struct dictEntry {

void *key;

union {

void *val;

uint64_t u64;

int64_t s64;

double d;

} v;

struct dictEntry *next;

} dictEntry;

很明显是一个链表，我们知道这是采用链式结构存储就足够了

这种方式会消耗较多的内存，所以一般数据较少时会采用轻量级的zipmap

set

在redis中，我们可以查看intset.h文件，这是一个存储整数的集合，其结构如下：

typedef struct intset {

uint32_t encoding;

uint32_t length;

int8_t contents[];

} intset;

其中各字段含义如下：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

结尾

这不止是一份面试清单，更是一种”被期望的责任“，因为有无数个待面试者，希望从这篇文章中，找出通往期望公司的”钥匙“，所以上面每道选题都是结合我自身的经验于千万个面试题中经过艰辛的两周，一个题一个题筛选出来再次对好答案和格式做出来的，面试的答案也是再三斟酌，深怕误人子弟是小，影响他人仕途才是大过，也希望您能把这篇文章分享给更多的朋友，让他帮助更多的人，帮助他人，快乐自己，最后，感谢您的阅读。

由于细节内容实在太多啦，在这里我花了两周的时间把这些答案整理成一份文档了，在这里只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
酌，深怕误人子弟是小，影响他人仕途才是大过，也希望您能把这篇文章分享给更多的朋友，让他帮助更多的人，帮助他人，快乐自己，最后，感谢您的阅读。

由于细节内容实在太多啦，在这里我花了两周的时间把这些答案整理成一份文档了，在这里只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！