Redis底层数据结构（详细篇）

于 2024-09-08 21:37:59 发布
阅读量892 收藏 29
点赞数 39
文章标签： redis 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingandsong/article/details/141905788
版权

Redis底层数据结构

一、常见数据结构的底层数据结构

1、动态字符串SDS（Simple Dynamic String）

在这里插入图片描述

组成

字符数组存储数据，头部存储字符数量，预分配内存，SDS类型（5个字节已被弃用）。
问题来了：为什么要这样设计呢？为什么不用c语言的字符串呢？
回答

  • 1、保证二进制安全 2、无需遍历数组获取长度
    其实c语言没有字符串，是靠字符数组实现的，并且以“ \0 ”作为结束标志，但是如果数据中间存在结束字符会导致读取数据不全的问题，所以引入len变量来保存字符数量，以len作为标准去读取数据，同时无需遍历数组获取长度（len）。
  • 3、动态扩容
    在这里插入图片描述
    预分配有啥好处嘛？
    在操作系统中，分配内存需要内核态和用户态的转换，该过程十分损耗性能，所以当大于1m，会分配多1m，防止多次分配带来的性能损耗。

2、IntSet

组成

本质是一个动态有序的整数数组。
在这里插入图片描述
encoding表示编码方式，数组中的数据就按照该编码方式存储。

如何保证动态

问题来了：如果数据超过了编码的范围怎么办呢？
在这里插入图片描述
在这里插入图片描述
回答： 我们通过编码升级，倒叙依次拷贝（防止正序覆盖当前数据），再添加新元素，最后头信息：length+1并且编码修改为对应的编码类型。

如何确保有序呢? 底层如何查找的呢?

在这里插入图片描述
本质就是二分查找，找到则不插入返回错误，没找到则插入有序的适当位置。

3、Dict(dictionary)

3.1组成

和java中jdk1.7版本的HashMap底层数据结构十分相似，由三部分组成：hash表（数组），哈希节点（entry）、字典（Dict）
在这里插入图片描述
每个Dict有两个hashTable一个用于存储当前数据，一个用于rehash（后续详细介绍）。
每个hashTable（dictHT）存储entry的指针以及hash表大小和entry个数，其中有一个sizemask用于进行hash求索引比如n&sizemask等价于n%size（sizemask+1），&运算速率更加快。
当发生hash碰撞的时候就是key运算后索引相同则使用单向链表，进行前插法添加新元素。
在这里插入图片描述

3.2 扩容

在这里插入图片描述

3.3 收缩

hashTable默认size为4，怎么收缩都不能低于4。
收缩后的size为大于等于实际entry个数的最小2的n次方（5->8）
在这里插入图片描述

3.4 rehash

在这里插入图片描述
因为一次新增的数据太多，导致rehash一次性更新到新的hashTable时长太长而影响其他业务性能，所以每次执行增删改查的时候才会去更新一个索引的数据，直到结束为止。

4、ZipList

在这里插入图片描述
为什么不使用相同内存存储entry呢？
回答：之所以叫压缩列表，就是因为去除了链表中的指针（一个指针8字节），并且每个entry由实际内容决定，节省了大批内存空间。
在这里插入图片描述
在遍历的时候，无需使用链表的指针来获取前一个元素和下一个元素，而是根据previous_enrty_length计算前一个entry的起始地址，通过自身大小计算下一节点地址。
在这里插入图片描述
在这里插入图片描述

连锁更新问题

在这里插入图片描述
如果这个时候插入一个节点并且长度大于254，将会导致pre_enrty_length属性由1字节变成5字节导致后面的该属性全部连锁更新为5字节。
(该情况发生概率很低)
在这里插入图片描述

总结特性

  • 可以看成一种连续空间的"双向链表" ，首尾操作简单
  • 节点之间不通过指针连接，记录上一节点和本节点长度寻址，节省内存
  • 如果节点数量过多，导致链表过长，需要逐个遍历，查询效率不高
  • 增删大数据时可能发生连续更新问题

5、 QuickList

上面说到ZipList的致命缺点：空间连续，如果数据过多，申请效率会变低，查询效率也下降，如何解决呢？

  • 可以通过限制ZipList的长度和entry大小
  • 对于大量的数据进行分片，多个ZipList存储
  • 多个ZipList进行联系，引入主角：QuickList

5.1 组成

QuickList本质是一个双端链表，但是每个节点指向ZipList，使得ZipList们联系起来。
在这里插入图片描述

config get list-max-ziplist-size

在这里插入图片描述
在这里插入图片描述

config get list-compress-depth

在这里插入图片描述

5.2 底层源码（结合组成示意图理解）

在这里插入图片描述

5.3 特点总结

  • 是一个节点为ZipList的双端链表
  • 节点采用ZipList，解决了传统链表的内存占用问题（指针）
  • 控制了ZipList的大小，解决申请效率的问题
  • 中间节点可以进一步压缩，进一步节省内存空间。

6、SkipList

上面聊了这么多链表，其实都没看到怎么去解决快速查找中间节点的问题，这里引入的SkipList就优化了链表中元素查找效率。

它和其他传统链表不同：1、元素按升序排列（也是方便后续的查找）

根据score值进行排序

2、节点可能包含多个指针，跨度不一样（加速查找效率，跳表的来源）

上源码：是个双向链表，每个节点值是SDS，整个排序考score，然后就是前后指针，由于增序，所以多级指针体现在forword（向后），跨度不一所以使用数组存储。
在这里插入图片描述
示意图
在这里插入图片描述

特点总结：

  • 双向链表，每个节点都含score和ele值
  • 节点按score排序，score值相同则按 ele字典排序（字符串）
  • 每个节点可包含多级指针，1-32之间
  • 指针层级越高，跨度越大
  • 增删修改效率和红黑树 基本一致，实现却简单

最后：redis的对象（redisObject）

在这里插入图片描述

逐层分析

1、type

就是我们熟悉的5中常见类型string 、hash、list、set和zset（4个bit）

2、encoding

就是五种类型在数据量不同的情况下不同的编码方式（4个bit）
在这里插入图片描述
在这里插入图片描述

3、lru（最后一次使用时间）

便于统计使用情况，用于统计空闲时间。（24bit）

4、refcount

引用计数器，便于淘汰和回收。

5、ptr（指针）

指向真正的数据。

其实这里就可以发现： 如果我们一直使用string类型去存储大量数据，会浪费很多对象的头内存，我们可以将其使用集合去存储进行内存的优化。

二、常见数据结构

1、String

使用的编码格式有三种 RAW EMBSTR INT

  • 基本的编码方式是raw，基于SDS（动态字符串），存储上限为512mb。
  • 如果存储的SDS长度小于等于44字节，则采用EMBSTR 编码，此时redisobj head和SDS是一段连续空间。申请内存时只需要调用一次内存分配函数（设计到内核态和用户态的切换），效率更高。
  • 如果存储的字符串是整数，并且大小在LONG_max范围内，则采用INT编码，直接使用pre指针位置（刚好8字节），不需要SDS。
    在这里插入图片描述

2、LIST

  • 在3.2版本之前，Redis采用ZipList和Linklist来实现List，当元素小于512并且元素大小小于64字节时采用ZipList编码，超过采用Linklist。
  • 3.2之后，统一使用QuickList来实现。
    具体QuickList请看上述中的详解。

3、Set（无序唯一）

  • 为了查询效率和唯一性，set采用HT编码（Dict）。Dict中的key用来存储元素，value统一为null。
  • 当存储的数据都是整数的时候，并且元素数量不超过set-max-intset-entries时，set采用IntSet编码，以节省空间。
    如图 当元素为{5，10，20}这时候 sadd s1 m1 会将编码方式由intset转为dict。

在这里插入图片描述

4、ZSet（SortedSet）

其中的每一个元素都需要指定一个score值和member值：

  • 根据score值排序
  • member值唯一（set都是这样的）
  • 根据member查询score
    so：底层数据结构必须满足 键值存储，键唯一，可排序
  • dict 满足键值存储和根据key找value
  • skipList 满足可排序，可以存储score和member
    其实底层就是综合了他们的优点来满足需求，二者都要，一共两份数据（空间换时间）。
    示意图：
    在这里插入图片描述
    key存ele ，value存score实现ele找score ，但是根据score排序。

大家可以看到当元素少的时候其实性价比不高，内存消耗比较大，所以：
当元素不多的时候，底层会采用zipList实现存储。
什么叫不多？界限是啥？ 同时满足以下两个条件（一般都是个数，内存大小）

  • 元素小于128（默认）可以调节。
  • 每个元素小于64字节

学了zipList知道其实他本身不具备 键值存储，键唯一，可排序三个特点如何实现呢？

  • zipList是连续空间，因此score和ele紧挨着一起的两个enrty，ele在前。
  • score越小越接近队首，按score升序排列。
    在这里插入图片描述

5、Hash

其实学了zset，发现二者很相似，只不过hash不需要保证有序，所以立马知道，其底层就是dict，但是当数据量不多则使用zipList。
hash默认是使用zipList编码，节省空间，相邻两个entry存的就是key 和value。
当数据量大时则转为HT（dict）编码，触发条件有两个：

  • 元素数量超过512（默认，可调节）
  • 大小超过64字节（默认，可调节）
    在这里插入图片描述
    以上则是Redis底层主要的数据结构。
kingandlog
关注
  • 39
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis——Redis数据结构底层原理
庄小焱
03-31 3589
本博文主要介绍Redis数据结构底层原理。帮助大家更好的学习和理解Redis数据结构。Redis发展到现在已经有 9 种数据类型了，其中最基础、最常用的数据类型有 5 种，它们分别是：字符串类型、列表类型、哈希表类型、集合类型、有序集合类型，而在这 5 种数据类型中最常用的是字符串类型。这五种数据结构的底层实现丰富。
2022年Redis最新面试题第2篇 - Redis数据结构
uuqaz的博客
06-24 673
Redis的数据类型有哪些？出现概率: ★★★★★这个在面试的过程出现的概率特别高了。Redis 支持五种常用的数据类型：string（ 字符串），hash（ 哈希）， list（ 列表）， set（ 集合） 及 zsetsorted set：有序集合)。redis 的基本数据结构对应的底层实现如下图所示：1)、Redis 的字符串是动态字符串，是可以修改的字符串，内部结构实现上类似于 Java 的 ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配，如图所示：len 是当前字符串实际长度，c
源码级别讲解 redis 底层数据结构
热门推荐
LoveSummer
05-10 4万+
Redis作为Key-Value存储系统，数据结构如下：Redis没有表的概念，Redis实例所对应的db以编号区分，db本身就是key的命名空间。比如：user:1000作为key值，表示在user这个命名空间下id为1000的元素，类似于user表的id=1000的 行。
Redis之底层数据结构
swimming_in_IT_的博客
03-27 1409
Redis底层数据结构有三层意思： 从Redis本身数据存储的结构层面来看，Redis数据结构是一个HashMap。 从使用者角度来看，Redis的数据结构是String，List，Hash，Set，Sorted Set。 从内部实现角度来看，Redis的数据结构是ict，sds，ziplist，quicklist，skiplist，intset。
深入理解Redis：底层数据结构
weixin_30362083的博客
12-31 613
简介 redis[1]是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。通常我们并不需要理解其底层数据结构，但如果能了解一下相关知识将会有助于我们更有效地使用Redis，并能够将这些知识应用到我们的工作中。 ...
redis：redis的底层数据结构
OceanStar的博客
01-11 1万+
一提到redis，我们就会想到“快"。那redis的快到底是快在哪里呢？实际上，这里有一个重要的表现：它接收到一个键值对操作后，能以微秒级别的速度找到数据，并快速完成操作。 为什么redis能有这么突出的表现呢？ 一方面，这是因为它是内存数据库，所有操作都在内存上完成，内存的访问速度本身就很快 另一方面，这要归功于它的数据结构。这是因为，键值对是按照一定的数据结构来组织的，操作键值对最终就是对数据结构进行增删改查操作，所以高效的数据结构是redis快速处理的基础。 redis中的数据结构有两种意思：
Redis 底层数据结构
最新发布
hello_1566的博客
12-18 1685
Redis 主要的底层数据结构：SDS、QuickList、ZipList、HashTable、IntSet、ZskipList
Redis底层数据结构
wangtao的博客
08-20 332
文章目录 一、简单动态字符串 1、SDS的结构定义 2、SDS和c字符串的区别 1）SDS获取字符串长度复杂度为常数 2）SDS杜绝了缓冲区溢出 3）减少内存重分配次数 4）二进制安全 5）SDS兼容部分c字符串函数 二、双向链表 1、双向链表结构： 2、链表节点结构： 3、Redis的链表实现的特性： 三、字典 1、字典的实现结构 1）哈希表节点 2）哈希表 3）字典 2、哈希算法 MurmurHash2算法
redis底层数据模型与数据结构
08-12
### Redis 底层数据模型与数据结构解析 #### 一、`redisObject` 结构解析 Redis 中存储数据的基本单元是 `redisObject` 结构，它定义了 Redis 对象的各种属性，包括类型、编码方式、LRU/LFU 计算等。 **1.1 `...
Redis第十一讲 Redis之Set底层数据结构实现
程序员路同学
04-05 912
Redis第十讲 Redis之Set底层数据结构实现
redis 底层数据结构
jiqiren1994的博客
02-23 325
Redis作为Key-Value存储系统，数据结构如下： Redis没有表的概念，Redis实例所对应的db以编号区分，db本身就是key的命名空间。 RedisDB结构 Redis中存在“数据库”的概念，该结构由redis.h中的redisDb定义。 当redis 服务器初始化时，会预先分配 16 个数据库 所有数据库保存到结构 redisServer 的一个成员 redisServer.db 数组中 redisClient中存在一个名叫db的指针指向当前使用的数据库 RedisDB结构体源码： typ
Redis详解（二）底层数据结构
傅红雪的专栏
01-08 1053
1. 简单动态字符串 第一篇文章我们就说过 Redis 是用 C 语言写的，但是对于Redis的字符串，却不是 C 语言中的字符串（即以空字符’\0’结尾的字符数组），它是自己构建了一种名为 简单动态字符串（simple dynamic string,SDS）的抽象类型，并将 SDS 作为 Redis的默认字符串表示。 SDS 定义： struct sdshdr{ //记录buf...
redis的底层数据结构
meser88的博客
06-05 1159
也就是说为什么要提供这么多的数据结构呢？
Redis的底层数据结构
WorldMvp的专栏
02-22 636
一、Redis的数据结构简介 Redis的底层数据结构一共有6种，分别为：简单动态字符串（SDS）、链表、字典、跳跃表、整数集合、压缩列表。 Redis的数据类型一共有5种，分别为：字符串对象、列表对象、哈希对象、集合对象、有序集合对象。这五大数据类型（数据对象）都是由一种或几种数结构构成。 在命令行中，可以使用 OBJECT ENCODINGkey来查看key的数据结构。 二、简单动...
Redis 底层的数据结构
古城的博客
08-01 692
Dict的结构它是类似java的HashTable，底层是数组加链表来解决哈希冲突Dict中是包含两个哈希表，ht[0]平常用，ht[1]用来rehash时使用的当LoadFactor大于5或者LoadFactor大于1并且没有子进程任务时，Dict扩容扩容大小为第一个大于等于used+1的2^n当LoadFactor小于0.1时，Dict收缩收缩大小为第一个大于等于used的2^nDict采用渐进式rehash，每次访问Dict时就执行一次rehash；......
redis底层数据结构详解
08-25
Redis是一个开源的内存数据库，它使用了多种数据结构来存储不同类型的数据。下面是几种常见的Redis底层数据结构的详解： 1. 字符串（String）：字符串是Redis中最基本的数据结构。它可以存储任意类型的数据，包括数字、文本等。字符串在Redis中以字节数组的形式存储，可以通过键访问和修改。 2. 列表（List）：列表是一个有序的字符串集合，可以在列表的两端进行插入、删除和获取操作。Redis使用双向链表来实现列表数据结构，它支持快速插入和删除操作。 3. 哈希（Hash）：哈希是一种键值对的集合。在Redis中，哈希可以存储多个字段和对应的值，类似于关联数组或者字典。哈希在内部使用哈希表来实现，可以快速查找和修改字段值。 4. 集合（Set）：集合是一组唯一且无序的字符串集合。Redis使用哈希表来实现集合数据结构，它支持添加、删除和判断元素是否存在等操作。 5. 有序集合（Sorted Set）：有序集合是一组唯一且有序的字符串集合。在Redis中，每个元素都会关联一个分数，通过分数可以对元素进行排序。有序集合的实现使用了跳跃表和哈希表两种数据结构，它支持添加、删除、修改和范围查询等操作。 这些数据结构的底层实现都是高效的，并且支持丰富的操作。Redis的数据结构灵活性较高，能够满足不同类型的数据存储需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值