Redis笔记（4）：字符串对象的结构与实现

1.字符串与SDS

（1）字符串的实现方式

Redis没有直接使用C语言的字符串表示（以空字符结尾的字符数组），而是自己构建了一种名为简单动态字符串（Simple Dynamic String，SDS）的抽象类型，并将SDS用作Redis的默认字符串实现，字符串的值最大不能超过512MB。。

在Redis里面，C字符串只会作为字符串字面量用在一些无须对字符串值进行修改的地方，比如打印日志。当Redis需要的是一个可以被修改的字符串值时，Redis就会使用SDS来表示字符串值，比如在Redis的数据库里面，包含字符串值的键值对在底层都是由SDS实现的，在Redis数据库中创建一个新的键值对。键是一个字符串对象，对象的底层实现是一个保存着字符串"msg"的SDS。值也是一个字符串对象，对象的底层实现是一个保存着字符串"hello world"的SDS。

SET msg "hello world"

除了用来保存数据库中的字符串值之外，SDS还被用作缓冲区（buffer），AOF模块中的AOF缓冲区，以及客户端状态中的输入缓冲区，都是由SDS实现的。

（2）SDS的结构

• free属性的值为5，表示这个SDS还有5个字节的空间尚未分配。
• len属性的值为5，表示这个SDS保存了一个五字节长的字符串。
• buf属性是一个char类型的数组，数组的前五个字节分别保存了"Redis"五个字符，最后一个字节保存了空字符’\0’。

SDS遵循C字符串以空字符结尾的惯例，保存空字符的1字节空间不计算在SDS的len属性里面，为空字符分配额外的1字节空间，以及添加空字符到字符串末尾等操作，都是由SDS函数自动完成的。遵循空字符结尾的好处是，SDS可以直接重用一部分C字符串函数库里面的函数。

2.SDS与C字符串的区别

（1）获取字符串长度的复杂度

C字符串不记录字符串长度信息，获取长度信息必须遍历整个字符串，直到遇到代表字符串结尾的空字符为止，这个操作的复杂度为O(n)。

SDS在len属性中记录了SDS本身的长度，所以获取一个SDS长度的复杂度仅为O(1)。设置和更新SDS长度的工作是由SDS的API在执行时自动完成的，使用SDS无须进行任何手动修改长度的工作。通过使用SDS，获取字符串长度的复杂度从O(n)降低到了O(1)，这确保了获取字符串长度的工作不会成为Redis的性能瓶颈。即使对一个非常长的字符串键反复执行STRLEN命令，也不会对系统性能造成影响。

（2）杜绝缓冲区溢出

除了获取字符串长度的复杂度高之外，C字符串不记录自身长度带来的另一个问题是容易造成缓冲区溢出。在执行strcat函数时，如果没有提前为目标字符串分配足够的空间，就会产生缓冲区溢出。

SDS的空间分配策略完全杜绝了发生缓冲区溢出的可能性，当SDS API需要对SDS进行修改时，API会先检查SDS的空间是否满足修改所需的要求，如果不满足的话，API会自动将SDS的空间扩展至执行修改所需的大小，然后才执行实际的修改操作，所以使用SDS既不需要手动修改SDS的空间大小，也不会出现前面所说的缓冲区溢出问题。

（3）减少修改字符串导致的内存重分配次数

1）C字符串内存重分配

因为C字符串的长度N和底层数组的长度N+1之间存在关联性，所以每次改变C字符串的长度，程序都总要对保存这个C字符串的数组进行一次内存重分配操作：

• 如果是增长字符串的操作，比如拼接操作（append），在执行操作前，程序需要先通过内存重分配来扩展底层数组的空间大小，如果忘了拓展空间大小，就会产生缓冲区溢出。
• 如果是缩短字符串的操作，比如截断操作（trim），在执行这个操作之后，程序需要通过内存重分配来释放字符串不再使用的那部分空间，如果忘了这一步就会产生内存泄漏。

因为内存重分配涉及复杂的算法，并且可能需要执行系统调用，所以它通常是一个比较耗时的操作，一般程序中，如果频繁出现内存重分配，可能对性能造成影响。

2）SDS内存重分配

为了避免C字符串的这种缺陷，SDS通过未使用空间解除了字符串长度和底层数组长度之间的关联。在SDS中，buf数组里面可以包含未使用的字节，未使用字节的数量free属性记录。通过未使用空间，SDS实现了空间预分配和惰性空间释放两种优化策略。

空间预分配

空间预分配用于优化SDS的字符串增长操作，当SDS API对一个SDS进行操作，进行空间扩展的时候，程序不仅会为SDS分配修改所必须要的空间，还会为SDS分配额外的未使用空间。在扩展SDS空间之前，SDS API会先检查未使用空间是否足够，如果足够，API就会直接使用未使用空间，而无须执行内存重分配。通过这种预分配策略，SDS将连续增长N次字符串所需的内存重分配次数从必定N次降低为最多N次。

额外分配的未使用空间数量规则如下：

• 如果SDS修改的长度len小于1MB，程序将分配和len属性同样大小的未使用空间，这时SDS的len=free，buf数组的长度为2*len+1。
• 如果SDS修改的长度len大于等于1MB，那么程序会分配1MB的未使用空间。SDS的buf数组 的实际长度将为len+1MB+1。

惰性空间释放

惰性空间释放用于优化SDS的字符串缩短操作，当需要缩短SDS保存的字符串时，程序并不立即使用内存重分配来回收缩短后多出来的字节，而是使用free属性将这些字节的数量记录起来，并等待将来使用。通过惰性空间释放策略，SDS避免了缩短字符串时所需的内存重分配操作，并为将来可能有的增长操作提供了优化。与此同时，SDS也提供了相应的API，可以在有需要时，真正地释放SDS的未使用空间，所以不用担心惰性空间释放策略会造成内存浪费。

（4）二进制安全

C字符串中的字符必须符合某种编码（如ASCIl），并且除了字符串的末尾之外，字符串里面不能包含空字符，否则字符串中间第一个空字符将被误认为是字符串结尾，这些限制使得C字符串只能保存文本数据，而不能保存像图片、音频、视频、压缩文件这样的二进制数据。

为了确保Redis可以适用于各种不同的使用场景，SDS的API都是二进制安全的（binary-safe），所有SDS API都会以处理二进制的方式来处理SDS存放在buf数组里的数据，程序不会对其中的数据做任何限制、过滤、假设，数据在写入时是什么样的，它被读取时就是什么样。这也是将SDS的buf属性称为字节数组的原因，Redis不是用这个数组来保存字符，而是用它来保存一系列二进制数据。

使用SDS来保存之前提到的特殊数据格式就没有任何问题，因为SDS使用len属性的值而不是空字符来判断字符串是否结束。通过使用二进制安全的SDS，使得Redis不仅可以保存文本数据，还可以保存任意格式的二进制数据。

（5）兼容部分C字符串函数

虽然SDS的API都是二进制安全的，但它也遵循C字符串以空字符结尾的惯例，SDS保存的数据的末尾设置为空字符，并且总会在为buf数组分配空间时多分配一个字节来容纳这个空字符，这是为了让那些保存文本数据的SDS可以重用一部分<string.h>库定义的函数。通过遵循C字符串以空字符结尾的惯例，SDS可以在有需要时重用<string.h>函数库，从而避免了不必要的代码重复。

3.字符串对象的编码方式

字符串对象的编码可以是int、embstr或raw。

如果一个字符串对象保存的是整数值，且这个整数值可以用long类型表示，那么字符串对象会将ptr属性指向整数值，并将字符串对象的编码设置为int。

如果字符串对象保存的是一个长度小于等于32字节的字符串值，那么字符串对象将使用embstr编码的方式来保存这个字符串值。

如果字符串对象保存的是一个长度大于32字节的字符串值，那么字符串对象将使用一个SDS来保存这个字符串值，并将对象的编码设置为raw。

使用示例如下：

（1）embstr编码

embstr编码是专门用于保存短字符串的一种优化编码方式，这种编码和raw编码一样，都使用 redisObject结构和sdshdr结构来表示字符串对象。embstr编码则通过调用一次内存分配函数来分配一块连续的空间，空间中依次包含redisObject和sdshdr两个结构，结构如下。但raw编码会调用两次内存分配函数来分别创建 redisObject结构和sdshdr结构，两个结构的内存不一定连续。

使用embstr编码的字符串对象来保存短字符串值有以下好处：

• embstr编码将创建字符串对象所需的内存分配次数从raw编码的两次降低为一次，释放内存的次数也降为一次。
• embstr编码的字符串对象的所有数据都保存在一块连续的内存里面，所以这种编码的字符串对象比起raw编码的字符串对象能够更好地利用缓存带来的优势。

（2）浮点数的编码

可以用long double表示的浮点数在Redis中也是作为字符串值来保存的，Redis会先将这个浮点数转换成字符串值，然后再保存转换所得的字符串值。在有需要的时候，Redis会将保存在字符串对象里面的字符串值转换回浮点数值，执行某些操作，然后再将执行操作所得的浮点数值转换回字符串值，并继续保存在字符串对象里面。执行示例如下：

（3）编码的转换

int编码的字符串对象和embstr编码的字符串对象在条件满足的情况下，会被转换为raw编码的字符串对象。

int转raw： 100通过拼接字符变成100a，即实现了int编码转row编码，即使100a小于32字节，仍会转为raw编码。

embstr转raw： 由于Redis没有为embstr编码的字符串对象提供修改API，所以embstr编码的字符串对象实际上是只读的。当需要对embstr编码的字符串对象执行修改命令时，程序会先将对象的编码从embstr转换成raw，然后再执行修改命令，修改之后，字符串对象不论长短，都会变成一个raw编码的字符串对象。