Redis数据类型与底层实现

最新推荐文章于 2024-01-27 23:39:05 发布

alex-zhou96

最新推荐文章于 2024-01-27 23:39:05 发布

阅读量252

点赞数

分类专栏： Redis原理

本文链接：https://blog.csdn.net/ZHOUJIAN_TANK/article/details/106747020

版权

Redis原理专栏收录该内容

11 篇文章 0 订阅

订阅专栏

SDS(简单动态字符串）

SDS的定义

在这里插入图片描述

SDS与C字符串的区别：其实就是改善，根据自身需求完善数据结构

常数复杂度获取字符串长度

因为C字符串并不记录自身的长度信息，所以为了获取一个C字符擦混的长度，程序必须遍历整个字符串，对遇到的每个字符串进行计数，直到遇到代表字符串结尾的空字符为止，这个操作的复杂度为O(N)
和C字符串不同，因为SDS在len属性中记录了SDS本身的长度，所以获取一个SDS长度的复杂度仅为O(1)

对于执行Strlen（）函数有较大的优势

杜绝缓冲区溢出（类似StringBuilder）

与C字符串不同，SDS的空间分配策略完全杜绝了发生缓冲区溢出的可能性：当SDS API需要对SDS进行修改时，API会先检查SDS的空间是否满足修改所需的要求，如果不能满足的话，API会自动将SDS的空间扩展至锁需修改的大小，也不会出先缓冲区溢出的问题

减少修改字符串时带来的内存重分配次数（分配合适的内存大小）

若执行增长字符串的操作，比如拼接操作，在执行这个操作之前，需要通过内存重分配来扩展底层数组的大小空间
若执行缩短字符擦混的操作，比如截断操作，在执行操作之前，需要通过内存重分配来释放字符擦混不再使用的那部分空间（防止出现内存泄露）
为了避免C字符串频繁增长字符擦混的操作，SDS通过未使用空间解除了字符串长度和底层数组长度之间的关联：在SDS中，buf数组的长度不一定就是字符数量+1,数组里面包含了未使用的字节，而这些字节的数量就是由SDS的free属性记录

空间预分配（减少重分配次数）

空间预分配用于优化SDS的字符擦混中增长操作：当SDS的API对一个SDS进行修改时，并且需要对SDS进行空间扩展的时候，程序不仅会为SDS分配修改所需的空间，还会为SDS分配额外的使用空间

若SDS的长度小于1MB，那么程序将分配和len属性同样大小的未使用空间free
若SDS的长度大于等于1MB，那么程序将会分配1MB的未使用空间free

通过这种预分配策略，SDS将连续增长N次字符擦所需要的内存重分配次数从必定N次降低为最多N次

惰性删除

当删除时，并不会真正删除，只是将内存分给free以待将来使用
当然也有函数来真正释放，避免内存浪费

二进制安全

通过使用二进制安全的SDS，而不是C字符串，使得Redis不仅可以保存文本数据，还可以保存任意格式的二进制数据

兼容部分C字符串

在这里插入图片描述

链表

链表和链表节点的实现

在这里插入图片描述

在这里插入图片描述
Redis的链表实现的特性如下

双端:链表节点带有pre和next指针，获取某个节点的前置节点和后置节点的复杂度都是O(1)
无环:链表头节点的prev和表尾节点的next指针都指向null，对链表的访问以null为重点
带头指针和表尾指针
带链表长度技术器:程序使用list结构的len属性来对list持有的链表节点进行计数，程序获取链表中节点数量的复杂度为O(1)
多态:可以用来保存各种不同类型的值

字典

底层数据结构

在这里插入图片描述

ht属性是一个包含两个项的数组，数组中的每个项都是一个dictht哈希表，一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用
除了ht[1]之外，另一个和rehash有关的属性就是rehashidx，它记录了rehash目前的进度，如果目前没有在进行进行rehash，那么它的值为-1

在这里插入图片描述

存储key的问题

哈希算法

当要将一个新的键值对添加到字典里面时，程序需要先根据键值对堆键的计算出哈希值和索引值，然后再根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定的索引上面

//使用字典设置的哈希函数，计算键key的哈希值
hash=dict->type->hashFunction(key);
//使用哈希表的sizemask属性和哈希值，计算出索引
index = hash&dict->ht[x].sizemask;

当字典被用作数据库的底层实现，或者哈希键的底层实现时，Redis使用MurmurHash2算法来计算键的哈希值

解决键重提

当有两个或以上数量的键被分配到了哈希数组的同一个索引时，我们称为键发生了冲突
使用链地址发

rehash

在这里插入图片描述

何时rehash

在这里插入图片描述

如何rehash

在这里插入图片描述

渐进式rehash

若ht[0]中保存的键值对个数比较多时，那么要一次性将这些键值对全部rehash到ht[1]的话，庞大的计算量可能会导致服务器在一段时间内停止服务
为了避免rehash对服务器性能造成影响，服务器不是一次性将ht[0]里面的所有的键值对全部rehash到ht[1]，而是分多次，渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]

在这里插入图片描述

小结

在这里插入图片描述

跳跃表

跳跃表是一种有序数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的
Redis使用跳跃表作为有序集合键的底层实现之一，如果一个有序集合包含的元素数量比较多，又或者有序集合中的元素的成员是比较长的字符串时，Redis就会使用跳跃表来作为有序集合键的底层实现

Redis中应用

Redis只在两个地方用到了跳跃表，一个是实现有序集合键，另一个是在集群节点中用作内部数据结构

跳跃表的实现

在这里插入图片描述

层（Level）：节点中用L1,L2,L3等字样标记节点的各个层，L1带表第一层，L2代表第二层，一次类推。每个层都带有两个属性：前进指针和跨度。前进指针用于访问表尾方向的其他节点，而跨度则记录了前进指针指向节点和当前节点的距离。
后退（backward）指针:节点中用BW字样标记节点的后退指针，它指向位于当前节点的前一个节点，后退指针再程序从表尾向表头节点遍历时使用。
分值:各个节点的1.0、2,.0、和3.0是节点所保存的分值。在跳跃表中，节点按各自所保存的分支从小到大排列。
成员对象:各个节点的o1，o2和o3是节点所保存的成员对象，
在同一个跳跃表中，各个节点保存的成员对象必须是唯一的，但是多个节点保存的分值却可以是相同的；分值相同的节点按照成员对象在字典序中的大小来进行排序，成员对象较小的节点会排在前面（靠近表头的方向），而成员对象较大的节点则会排在后面

跳跃表和AVL

在这里插入图片描述

小结

在这里插入图片描述

整数集合

作用

整数集合是集合键的底层实现之一，当一个集合键只包含整数值元素，并且这个集合的元素数量不多时，Redis就会使用整数集合作为集合键的底层实现

实现

整数集合是Redis用于保存整数值的集合抽象数据结构,它可以保存类型int16_t、int32_t或者int64_t的整数值，并且保证集合中不会出现重复元素。

在这里插入图片描述

元素类型升级

当我们要将一个新元素添加到整数集合里面，并且新元素的类型要比整数集合现有所有元素的类型都要长时，整数集合需要先进行升级，然后才能将新元素添加到整数集合里面

在这里插入图片描述

升级的好处

整数集合升级的策略有两个好处：一个是提升整数集合的灵活性；另一个是尽可能的节约内存。

降级

整数集合不支持降级操作，一旦对数组进行了升级，编码就会一直保持升级后的状态。

在这里插入图片描述

压缩列表

作用

压缩列表是列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项，并且每个列表项要么就是小整数值。要么就是长度比较短的字符串，那么Redis就会使用压缩列表来做列表键的底层实现
哈希键里面包含的所有键和值都是小整数值或者段字符串

实现

压缩列表是Redis为了节约内存而开发的，是一系列特殊编码的连续内存块组成的顺序性数据结构。一个压缩列表可以包含任意多个节点，每个节点可以保存一个字节数组或者一个整数值。

在这里插入图片描述

压缩列表节点的构成-entry的构成

在这里插入图片描述

content:负责保存节点的值，节点值可以是一个字节数组或者整数，值的类型和长度由节点的encoding属性决定

alex-zhou96

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Redis数据类型与底层实现

文章目录SDS(简单动态字符串）SDS的定义SDS与C字符串的区别：其实就是改善，根据自身需求完善数据结构常数复杂度获取字符串长度杜绝缓冲区溢出（类似StringBuilder）减少修改字符串时带来的内存重分配次数（分配合适的内存大小）空间预分配（减少重分配次数）惰性删除二进制安全兼容部分C字符串链表链表和链表节点的实现字典底层数据结构存储key的问题哈希算法解决键重提rehash何时rehash如何rehash渐进式rehash小结跳跃表Redis中应用跳跃表的实现小结整数集合作用实现元素类型升级升级的好
复制链接

扫一扫