之前对Redis只是会简单的使用,对其原理也是一知半解,这显然是不行的,想要翻身,还得学。所以最近豪掷千金购得两本业内大佬写的的Redis书,希望能让自己对Redis有更新的认识!
读书笔记记起来!
目录
简单动态字符串
我们都知道Redis有string类型的数据结构,平时估计也是用这个最多吧,但是有没有想过这个String字符串跟C语言的字符串又啥区别呢?
Redis并没有直接使用C语言传统的字符串(以空字符结尾的字符数组)表示,而是自己建立的一种名为简单动态字符串(Simple dynamic string)的抽象类型,并将SDS用作Redis的默认字符串表示。
除了保存数据库中的字符串之外,SDS还被用作缓冲区(buffer):AOF模块中的AOF缓冲区,以及客户端状态中的输入缓冲区。
在redis3.2版本之前:
struct sdshdr {
// 所保存字符串的长度
int len;
// buf数组中未使用字节的数量
int free;
// 字节数组,保存字符串
char buf[];
};
如下图为SDS结构实例:
- free:0,表示这个SDS没有分配任何未使用空间。
- len:5,表示这个SDS保存了一个5字节长的字符串 。
- buf:是一个char类型的数据,数组前5个字节分别保存了'R'、'e'、'd'、'i'、's'五个字符,最后一个为空字符'\0'。
Redis3.2版本之后:
struct sdshdr {
// 所保存字符串的长度
T len;
// 分配给buf数组的总长度
T alloc;
// 字节数组,保存字符串
char buf[];
//特殊标志位,不用理词啊
char flags
};
引入了alloc记录分配给buf数组的总长度,那么原先的free可以通过alloc - len
获得。
之前的版本中,我们知道len这个属性的类型是int,那么int在内存中是占4个字节,32位,一共可以表示232 - 1的这么大的范围,那其实往往我们字符串的长度不会有这么大,所以呢后来做了优化,引入了uint8_t (8位)、uint16_t (16位)、 uint32_t (32位)、 uint64_t (64位)这几种类型,有效节省了空间。
SDS遵循了C字符串以空字符串结尾的惯例,目的是SDS可以直接重用一部分C字符串函数库里面的函数。
SDS与C字符串的区别
常数复杂的获取字符串长度
C字符串不记录自身的长度信息,想要知道多长必须遍历整个字符串,时间复杂度为O(N)。SDS则使用len记录字符串的长度,时间复杂度为O(1)。
杜绝缓冲区溢出
因为C字符串不记录自身长度,所以在进行strcat前,需要先为目标字符串分配足够多的空间,否则会操成缓冲区溢出。
但SDS的空间分配策略完全杜绝了这种情况发生,当SDS的API需要对SDS进行修改是,API会先检查SDS的空间是否满足修改所需的要求,如果不满足,API会自动将SDS的空间扩展至执行修改时所需的大小。
减少修改字符串时带来的内存重分配次数
在C字符串的拼接和截断的操作进行前,都需要对C字符串进行内存重分配,防止缓冲溢出和内存泄漏。但是内存充分配是一个非常耗时的操作。儿Redis经常被用于速度要求严苛,数据被频繁修改的场合。所以SDS实现了空间预分配和惰性空间释放两种优化策略。
空间预分配:不仅会为SDS分配修改所必须的空间,还会为SDS分配额外的未使用空间。
两种规则:
- 如果SDS修改之后,SDS长度(len)小于1M,那么程序分配和len属性同样大小的未使用空间。这是len和free值相同。
- 如果SDS修改之后,SDS长度(len)大于1M,程序会分配1M的未使用空间。
所以在SDS扩展之前,SDS API会先检查未使用空间是否足够,足够的话直接使用未使用空间,无需重新分配内存。
惰性空间释放:SDS在执行删除字符的时候并没释放多处来的空间,未来对SDS进行增长的时候能派上用场。当程序在真正有需要多余空间时,才会真正的释放。
二进制安全
C字符串中的字符必须符合某种编码,并且除了字符串的末尾之外,字符串里面不能包含空字符,是的C字符串只能保存文本数据,而不能保存图片,音频,视频,压缩文件等。
为了确保Redis可以适用各种不同的使用场景,SDS的API都是二进制安全的,所有SDS API 都会以处理二进制的方式来处理SDS存放在buf数组里的数据:例如,C字符串通过判断'\0'来判断字符串是否结尾,儿Reidis通过len来判断。
C字符串和SDS对比
C字符串 | SDS |
获取字符串长度的复杂度为O(N) | 获取字符串长度的复杂度为O(1) |
API 是不安全的,可能会造成缓冲区溢出 | API是安全的,不会造成缓冲区溢出 |
修改N次字符串长度就要进行N次内存重分配 | 修改N次字符串长度最多进行N次内存重分配(空间预分配,惰性删除) |
只能保存文本数据 | 可以保存文本或二进制数据 |
可以使用所有<string.h>库中函数 | 可以使用部分<string.h>库中函数 |
参考:《Redis设计与实现》--黄健宏