Redis没有直接使用C语言传统的字符串表示(以空字符结尾的字符数组),而是自己构建了一种名为简单动态字符串(SDS)的抽象类型,并将SDS用作Redis的默认字符串表示。
在Redis里面,C字符串智慧作为字符串字面量(string literal)用在一些无需对字符串值进行修改的地方。但Redis需要的不仅仅是一个字符串字面量,而是一个可以被修改的字符串值时,Redis就会使用SDS来标识字符串值,比如在Redis数据库里面,包含字符串子的键值对的底层就是使用SDS实现的。
SDS的用途:
1.用来保存数据库中的字符串值。
2.SDS被用作缓冲区(buffer):AOF模块中的AOF缓冲区,以及客户端状态中的输入缓冲区,都是使用SDS实现的。
SDS的定义:
struct sdshdr{ //记录buf数组中已使用字节的数量 //等于SDS所保存字符串的长度 int len; //记录buf数组中未使用字节的数量 int free; //字节数组,用于保存字符串 char buf[]; }
SDS与C字符串的区别(解释为什么Redis要使用SDS而不是C字符串):
首先,C字符串并不能满足Redis对字符串在安全性以及功能方面的要求。
下面使它们之间的区别:
1.常数复杂度获取字符串长度
由于C字符串并不记录自身的长度信息,所以获取C字符串长度的操作的时间复杂度为O(N);SDS在len属性中记录了长度,所以时间复杂度为O(1);这确保了获取字符串长度的工作不会成为Redis的性能瓶颈。所以即使对一个非常长的字符串键反复执行STRLEN命令,也不会对性能有任何的影响,因为STRLEN命令的复杂度仅为O(1)。
备注:设置和更新SDS长度的工作是由SDS的API在执行时自动完成的,使用SDS无须进行任何手动修改长度的工作。
2.杜绝缓冲区溢出
C字符串不记录自身长度带来的问题是造成缓冲区溢出(buffer overflow)。SDS的空间分配策略完全杜绝了缓冲区溢出的可能性:当SDS API需要对SDS进行修改时,API会检查SDS的空间是否满足修改所需要的要求,如果不满足的话,API会自动将SDS的空降扩展至需要的大小,然后才执行实际的修改操作。
3.减少修改字符串时带来的内存重新分配次数
SDS空间分配策略:
1.如果程序执行的是增长字符串的操作,比如拼接操作(append),在执行之前,程序需要通过内存重分配来扩展底层数组的空间大小,如果忘了就会导致内存溢出。
2.如果程序执行的缩短字符串的操作,比如截断操作(trim),在执行之后,程序需要通过内存重分配释放字符串不再使用的那部分空间,如果忘了就会导致内存泄漏。
因为内存重分配涉及到复杂的算法,甚至可能需要执行系统调用,所以它是一个比较耗时的操作。所以如果每次修改字符串都会造成内存重分配额,这种修改频繁的话,就会对性能造成影响。故SDS通过未使用空间,实现了空间预分配和惰性空间释放的策略。在SDS中,buf数组长度不一定就是字符串数量+1,数组里面还可以包含未使用的字节,而这些未使用的字节的数量就是有SDS的free属性记录。
1.空间预分配:
用于优化SDS的字符串增长操作。
2.惰性空间释放
用于优化SDS字符串的缩短操作。
备注:与此同时,SDS也提供了相应的API,让我们可以在有需要时,真正释放SDS的未使用空间,所以完全不用担心惰性空间释放策略会造成内存浪费。
4.二进制安全
C字符串中的字符必须符合某种编码(如ASCII),并且处理字符串的末尾之外,字符串里面不能包含空字符,否则最先被程序读入的空字符会被误认为是字符串结尾。这样限制使得C字符串只能包含文本数据,不能保存像图片、音频、视频、压缩文件等二进制数据。Redis为了确保可以适用于各种不同的使用场景,SDS的API都是二进制安全的,所有的SDS API都会以处理二进制的方式来处理SDS存放在buf数组的数据,程序不会对其中的数据做任何的限制、过滤。
虽然SDS的API都是二进制安全的,但它们一样遵循C字符串以空字符结尾的惯例,SDS的API会将SDS保存的数据的末尾设置为空字符,并且总会在为buf数组分配空间时多分配一个字节来容纳这个空字符,这有利于Redis可以重用C <String.h>库定义的函数。
C字符串和SDS之间的区别总结
C字符串 | SDS | |
1 | 获取字符串长度的时间复杂度为O(N) | 获取字符串长度的时间复杂度为O(1) |
2 | API是不安全的,可能会造成缓冲区溢出 | API是安全的,不会造成缓冲区溢出。 |
3 | 修改字符串长度N次必然需要执行N此内存分配 | 修改字符串长度N次最多需要执行N次内存分配 |
4 | 只能保存文本数据 | 可以保存文本数据和二进制数据 |
5 | 可以使用<string.h>库中的函数 | 可以使用一部分<string.h>库中的函数 |