文章目录
SDS(简单动态字符串)
SDS的定义
SDS与C字符串的区别:其实就是改善,根据自身需求完善数据结构
常数复杂度获取字符串长度
- 因为C字符串并不记录自身的长度信息,所以为了获取一个C字符擦混的长度,程序必须遍历整个字符串,对遇到的每个字符串进行计数,直到遇到代表字符串结尾的空字符为止,这个操作的复杂度为O(N)
- 和C字符串不同,因为SDS在len属性中记录了SDS本身的长度,所以获取一个SDS长度的复杂度仅为O(1)
对于执行Strlen()函数有较大的优势
杜绝缓冲区溢出(类似StringBuilder)
与C字符串不同,SDS的空间分配策略完全杜绝了发生缓冲区溢出的可能性:当SDS API需要对SDS进行修改时,API会先检查SDS的空间是否满足修改所需的要求,如果不能满足的话,API会自动将SDS的空间扩展至锁需修改的大小,也不会出先
缓冲区溢出的问题
减少修改字符串时带来的内存重分配次数(分配合适的内存大小)
- 若执行增长字符串的操作,比如拼接操作,在执行这个操作之前,需要通过内存重分配来扩展底层数组的大小空间
- 若执行缩短字符擦混的操作,比如截断操作,在执行操作之前,需要通过内存重分配来释放字符擦混不再使用的那部分空间(
防止出现内存泄露
)
为了避免C字符串频繁增长字符擦混的操作,SDS通过未使用空间解除了字符串长度和底层数组长度之间的关联:在SDS中,buf数组的长度不一定就是字符数量+1,数组里面包含了未使用的字节,而这些字节的数量就是由SDS的free属性记录
空间预分配(减少重分配次数)
空间预分配用于优化SDS的字符擦混中增长操作:当SDS的API对一个SDS进行修改时,并且需要对SDS进行空间扩展的时候,程序不仅会为SDS分配修改所需的空间,还会为SDS分配额外的使用空间
- 若SDS的长度小于1MB,那么程序将分配和
len
属性同样大小的未使用空间free
- 若SDS的长度大于等于1MB,那么程序将会分配1MB的未使用空间
free
通过这种预分配策略,SDS将连续增长N次字符擦所需要的内存重分配次数从必定N次降低为最多N次
惰性删除
- 当删除时,并不会真正删除,只是将内存分给free以待将来使用
- 当然也有函数来真正释放,避免内存浪费
二进制安全
通过使用二进制安全的SDS,而不是C字符串,使得Redis
不仅可以保存文本数据,还可以保存任意格式的二进制数据
兼容部分C字符串
链表
链表和链表节点的实现
Redis的链表实现的特性如下
双端
:链表节点带有pre
和next
指针,获取某个节点的前置节点和后置节点的复杂度都是O(1)
无环
:链表头节点的prev
和表尾节点的next
指针都指向null
,对链表的访问以null
为重点带头指针和表尾指针
带链表长度技术器
:程序使用list
结构的len
属性来对list
持有的链表节点进行计数,程序获取链表中节点数量的复杂度为O(1)
多态
:可以用来保存各种不同类型的值
字典
底层数据结构
- ht属性是一个包含两个项的数组,数组中的每个项都是一个
dictht
哈希表,一般情况下,字典只使用ht[0]
哈希表,ht[1]
哈希表只会在对ht[0]
哈希表进行rehash
时使用 - 除了
ht[1]
之外,另一个和rehash
有关的属性就是rehashidx
,它记录了rehash
目前的进度,如果目前没有在进行进行rehash
,那么它的值为-1
存储key的问题
哈希算法
当要将一个新的键值对添加到字典里面时,程序需要先根据键值对堆键的计算出哈希值和索引值,然后再根据索引值,将包含新键值对的哈希表节点放到哈希表数组的指定的索引上面
//使用字典设置的哈希函数,计算键key的哈希值
hash=dict->type->hashFunction(key);
//使用哈希表的sizemask属性和哈希值,计算出索引
index = hash&dict->ht[x].sizemask;
当字典被用作数据库的底层实现,或者哈希键 的底层实现时,Redis使用MurmurHash2
算法来计算键的哈希值
解决键重提
当有两个或以上数量的键被分配到了哈希数组的同一个索引时,我们称为键发生了冲突
使用链地址发
rehash
何时rehash
如何rehash
渐进式rehash
若ht[0]中保存的键值对个数比较多时,那么要一次性将这些键值对全部rehash到ht[1]的话,庞大的计算量可能会导致服务器在一段时间内停止服务
为了避免rehash对服务器性能造成影响,服务器不是一次性将ht[0]里面的所有的键值对全部rehash到ht[1],而是分多次,渐进式的将ht[0]里面的键值对慢慢的rehash到ht[1]
小结
跳跃表
跳跃表是一种有序数据结构,它通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的
Redis使用跳跃表作为有序集合键的底层实现之一,如果一个有序集合包含的元素数量比较多,又或者有序集合中的元素的成员是比较长的字符串时,Redis就会使用跳跃表来作为有序集合键的底层实现
Redis中应用
Redis只在两个地方用到了跳跃表,一个是实现有序集合键,另一个是在集群节点中用作内部数据结构
跳跃表的实现
- 层(Level):节点中用
L1
,L2
,L3
等字样标记节点的各个层,L1带表第一层,L2代表第二层,一次类推。每个层都带有两个属性:前进指针和跨度。前进指针用于访问表尾方向的其他节点,而跨度则记录了前进指针指向节点和当前节点的距离。 后退(backward)指针
:节点中用BW
字样标记节点的后退指针,它指向位于当前节点的前一个节点,后退指针再程序从表尾向表头节点遍历时使用。分值
:各个节点的1.0、2,.0、和3.0是节点所保存的分值。在跳跃表中,节点按各自所保存的分支从小到大排列。成员对象
:各个节点的o1
,o2
和o3
是节点所保存的成员对象,
在同一个跳跃表中,各个节点保存的成员对象必须是唯一的,但是多个节点保存的分值却可以是相同的;分值相同的节点按照成员对象在字典序中的大小来进行排序,成员对象较小的节点会排在前面(靠近表头的方向),而成员对象较大的节点则会排在后面
跳跃表和AVL
小结
整数集合
作用
整数集合是集合键的底层实现之一,当一个集合键只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现
实现
整数集合是Redis用于保存整数值的集合抽象数据结构,它可以保存类型
int16_t
、int32_t
或者int64_t
的整数值,并且保证集合中不会出现重复元素。
元素类型升级
当我们要将一个新元素添加到整数集合里面,并且新元素的类型要比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级,然后才能将新元素添加到整数集合里面
升级的好处
整数集合升级的策略有两个好处:一个是提升整数集合的灵活性;另一个是尽可能的节约内存。
降级
整数集合不支持降级操作,一旦对数组进行了升级,编码就会一直保持升级后的状态。
压缩列表
作用
压缩列表是列表键
和哈希键
的底层实现之一。当一个列表键只包含少量列表项,并且每个列表项要么就是小整数值。要么就是长度比较短的字符串,那么Redis就会使用压缩列表来做列表键的底层实现
哈希键里面包含的所有键和值都是小整数值或者段字符串
实现
压缩列表是
Redis
为了节约内存而开发的,是一系列特殊编码的连续内存块组成的顺序性数据结构。一个压缩列表可以包含任意多个节点,每个节点可以保存一个字节数组或者一个整数值。
压缩列表节点的构成-entry的构成
- content:负责保存节点的值,节点值可以是一个字节数组或者整数,值的类型和长度由节点的
encoding
属性决定