Redis 底层结构和对象介绍 超级详细!!

本文详细介绍了Redis中的数据结构,包括SDS(简单动态字符串)的定义、特点,如常数时间获取长度、避免缓冲区溢出、内存重分配策略和二进制安全性。接着讲述了链表的定义和应用场景,字典的结构、哈希算法及rehash过程。此外,还讨论了跳跃表的实现,以及整数集合、压缩列表和对象(如string、list、hash、set和有序集合)的编码和实现细节。
摘要由CSDN通过智能技术生成

本文主体参考Redis设计与实现第二版 对于有时间的同学可以直接阅读原书,我这里做一个详细的总结,并结合自己的一些思考。

1.SDS

Redis没有直接使用C语言传统的字符串,而是自己构建一个简单动态字符串(SDS),并将SDS作未Redis的默认字符串表示。

reids>SET msg "hello world"

会在Redis创建一个新的键值对:

  • key是一个字符串对象,对象的底层是一个保存"msg"的SDS
  • value也是一个字符串对象,底层同样是保存 "hello world"的SDS
1.1SDS定义
//SDS的定义如下(sds.h/sdshdr):

struct sdshdr {
   
    int len;         // 记录buf数组中已使用字节的数量
    int free;        // 记录buf数组中未使用字节的数量
    char buf[];      // 字节数组,用于保存实际字符串
}

在这里插入图片描述
其中buf数组用来存储字符串,然后也会用一字节的 '\0’空字符加载我们要存储的字符串后面,如果free字段不为空,那么buf数组最后面也会包括长度为free中声明的空闲位置,如上图就有5字节的空闲空间。

SDS的实例占用的总空间是多少?

两个int分别是4字节,buf数组本身是char类型的,c语言中char本身占1字节,那么该数组有多长呢,free定义的长度+len定义的长度+1 这个1很关键,是空’\0’,别忘了!!
所以按照上图的例子,大小就是 4*2+5+5+1=19字节

1.2 SDS与C的区别

其实有几个优势是显而易见的比如:

1.2.1 常数时间获取字符串长度

因为有len字段,所以可以直接获取SDS的字符串长度,不需要像C字符串那样遍历一遍

1.2.2 杜绝缓冲区溢出

因为c字符串中并不记录自身长度,使用strcat函数拼接字符串时如果没有为dest分配足够的内存来容纳src的话,就会出现缓冲区溢出,
比如:
s1和s2字符串在内存中相邻的存放
在这里插入图片描述
此时执行strcat(s1," Cluster"),会导致Cluster字符串把原先的s2给覆盖了,也就是s1的数据溢出了。
在这里插入图片描述
SDS的空间分配策略会避免这一现象,当SDS API需要对SDS进行修改时,API会先检查SDS的空间是否足够,如果不够,会自动将SDS的空间扩展至执行修改所需的大小,然后在进行修改操作。
比如:
原先SDS值s结构如下
在这里插入图片描述
然后执行sdscat(s1," Cluster"),此时sds会先扩展s空间然后再执行拼接操作,执行之后的s结构如下图所示:
在这里插入图片描述
可以发现SDS还为分配了13字节的未使用空间,那么为何如此分配呢,需要学习一下内存重分配策略

1.2.3 内存重分配策略

首先介绍一下c字符串的内存重分配操作:

  • 执行增长操作,那么会先通过内存重分配来扩展底层char数组–否则会产生缓冲区溢出
  • 执行缩短操作,就会释放不再使用的空间 --否则会产生内存泄漏

因为内存重分配设计复杂的算法,并且需要执行系统调用,是一个耗时的操作,对于一般程序,修改字符串长度操作不常出现的场景,内存重分配是可以接受的,但是对于Redis这种数据被频繁修改的数据库,就难以接受了。

所以SDS实现了空间预分配和惰性空间释放两种优化策略
1、空间预分配
SDS的API对一个SDS进行修改时,不仅需要对SDS所需要的空间进行扩展,还会分配额外的未使用空间。

  • 如果对SDS进行修改后,len小于1MB,那么程序分配和len属性同样大小的未使用空间(即free和len大小一样)
  • 如果对SDS修改完后,len大于1MB,那么程序分配1MB的未使用空间。

2、惰性空间释放
优化SDS的字符串缩短操作:当SDS的API缩短SDS保存的字符串时,程序并不会立即回收那些字节,而是使用free属性将这些空间记录进来。

1.2.4二进制安全

C字符串中’\0’就是字符串结尾的标志,如果字符串本身有空字符,会被误以为提前结束,所以C字符串不能用来保存图片、音频、压缩文件这样的二进制数据。

Redis为了能适用于各种场景(不仅针对文本数据),通过buf的len长度来判断是否结束,所以可以在字符串内部出现空字符。所以SDS的API都是二进制安全的。SDS的API会以处理二进制的方式来处理存放在buf里的字符串数据,程序不会对其中的数据做任何限制、过滤、或者假设,所以称buf数组为字节数组而不是字符数组。

2.链表

链表提供搞笑的节点重拍能力,以及顺序性的节点访问方式,并且可以通过增删节点来灵活地调整链表的长度。

除了列表之外,发布与订阅、慢查询、监视器等功能也用到了链表,Redis服务器本身还使用链表来保存多个客户端的状态信息,以及使用链表构建客户端输出缓冲区

2.1链表定义
//每个链表节点使用一个listNode结构来表示,具体定义如(adlist.h/listNode):
typedef struct listNode {
   
    struct listNode *prev;              // 前置节点
    struct listNode *next;              // 后置节点
    void *value;                        // 节点的值
} listNode;

//redis另外还使用了list结构来管理链表,以方便操作,具体定义如下(adlist.h/list):

typedef 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值