chapter2 简单动态字符串

http://blog.csdn.net/andrewlee_/article/details/70036755

    Redis没有直接使用C语言传统的字符串表示(以空字符结尾的字符数组,以下简称C字符串),而是自己构建了一种名为简单动态字符串(simple dynamic string,SDS)类型,并将SDS作为Redis的默认字符串表示。

    在Redis里面,C字符串只会作为字符串字面量(string literal)用在一些无须对字符串值进行修改的地方,比如打印日志。

    当Redis需要的不仅仅是一个字符串字面量,而是一个可以被修改的字符串值时,Redis就会使用SDS来表示字符串值,比如在Redis的数据库里面,包含字符串值的键值对在底层都是由SDS实现的。

127.0.0.1:6379> set msg "hello world"
OK

    那么Redis将在数据库中创建一个新的键值对,其中:

• 键值对的键是一个字符串对象,对象的底层实现是一个保存着字符串"msg"的SDS
• 键值对的值也是一个字符串对象,对象的底层实现是一个保存着字符串"hello,world"的SDS

127.0.0.1:6379> rpush fruits "apple" "banana" "cherry"
(integer) 3

• 键值对的键是一个字符串对象,对象的底层实现是一个保存了字符串"fruits"的SDS
• 键值对的值是一个列表对象,列表对象包含了三个字符串对象,这三个字符串对象分别由三个SDS实现.

    除了用来保存数据库中的字符串值之外,SDS还被用作缓冲区(buffer):AOF模块中的AOF缓冲区,以及客户端状态的输入缓冲区,都是由SDS实现的。

2.1 SDS的定义

每个sds.h/sdshdr结构表示一个SDS值:

• free属性的值为0,表示这个SDS没有分配任何未使用的空间
• len属性的值为5,表示这个SDS保存了一个五字节长的字符串。
• buf属性是一个char类型的数组,数组的前五个字节分别保存了'R','e','d','i','s'五个字符,而最后一个字节则保存了空字符'\0'。

    SDS遵循C字符串以空字符结尾的惯例,保存空字符的1字节空间不计算在len属性里面,并且为空字符分配额外的1字节空间,以及添加空字符到字符串末尾等操作,都是由SDS函数自动完成的。

    SDS可以直接重用一部分C字符串函数库里面的函数。

    举个例子,如果我们有一个执行图2-1所示SDS的指针s,那么我们可以直接使用<stdio.h>/printf函数,通过执行以下语句:

printf("%s",s->buf);

    来打印出SDS保存的字符串值"Redis",而无须为SDS编写专门的打印函数。

    图2-2展示了另一个SDS示例。这个SDS和之前展示的SDS一样,都保存了字符串值"Redis"。这个SDS和之前展示的SDS的区别在于,这个SDS为buf数组分配了五字节未使用空间,所以它的free属性的值为5.

2.2 SDS与C字符串的区别

    根据传统,C语言使用长度为N+1的字符数组来表示长度为N的字符串,并且字符数组的最后一个元素总是空字符'\0'。

    例如,图2-3就展示了一个值为"Redis"的C字符串。

    C语言使用的这种简单的字符串表示方式,并不能满足Redis对字符串当在安全性、效率以及功能方面的要求,

2.2.1 常数复杂度获取字符串长度

    获取一个C字符串的长度,操作的复杂度为O(N),和C字符串不同,因为SDS在len属性中记录了SDS本身的长度,所以获取一个SDS长度的复杂度仅为O(1)。

    举个例子,对于图2-5所示的SDS来说,程序只要访问SDS的len属性,就可以立即知道SDS的长度为5字节。

    又例如,对于图2-6展示的SDS来说,程序只要访问SDS的len属性,就可以立即知道SDS的长度为11字节。设置和更新SDS长度的工作是由SDS的API在执行时自动完成的,使用SDS无须进行任何手动修改长度的工作。

2.2.2 杜绝缓冲区溢出

    除了获取字符串长度的复杂度高之外,C字符串不记录自身长度带来的另一个问题是容易造成缓冲区溢出(buffer overflow)。举个例子,<string.h>/strcat函数可以将src字符串中的内容拼接到dest字符串的末尾:

char *strcat(char *dest,const char *src);

    因为C字符串不记录字符串自身的长度,所以strcat假定用户在执行这个函数时,已经为dest分配了足够多的内存,可以容纳src字符串中的所有内容,而一旦这个假定不成立,就会产生缓冲区溢出。

    举个例子,假设程序里有两个在内存中紧邻着的C字符串s1和s2,其中s1保存了字符串"Redis",而s2则保存了字符串"MongoDB",如图2-7所示:

    如果一个程序员决定通过执行:

strcat(s1,"Cluster");

    将s1的内容修改为"Redis Cluster",但粗心的他却忘了在执行strcat之前为s1分配足够的空间,那么在strcat函数执行之后,s1的数据将溢出到s2所在的空间中,导致s2保存的内容被意外地修改,如图2-8所示。

    当SDS API需要对SDS进行修改时,API会先检查SDS的空间是否满足修改所需的要求,如果不满足要求的话,API会自动将SDS的空间扩展至执行修改所需的大小,然后才执行实际的修改操作。

    举个例子,SDS的API里面也有一个用于执行拼接操作的sdscat函数,它可以将一个C字符串拼接到给定SDS所保存的字符串后面,但是在执行拼接操作之前会先检查给定SDS的空间是否足够,如果不够的话,sdscat就会先扩展SDS的空间后才执行拼接操作。

    例如,如果我们执行:

sdscat(s," Cluster");

    sdscat将在执行拼接操作之前检查s的长度是否足够,在发现s目前的空间不足以拼接" Cluster"之后,sdscat就会先扩展s的空间,然后才执行拼接" Cluster"的操作,拼接操作完成之后的SDS如图2-10所示。

2.2.3 减少修改字符串时带来的内存重分配次数

    因为C字符串并不记录自身的长度,所以对于一个包含了N个字符的C字符串来说,这个C字符串的底层实现总是一个N+1个字符长的数组。内存重分配操作:

• 如果程序执行的是增长字符串的操作,比如拼接操作(append),那么在执行这个操作之前,程序需要先通过内存重分配来扩展底层数组的空间大小--如果忘了这一步就会产生缓冲区溢出。
• 如果程序执行的是缩短字符串的操作,比如截断操作(trim),那么在执行这个操作之后,程序需要通过内存重分配来释放字符串不再使用的那部分空间---忘了这一步就会产生内存泄漏。

    为了避免C字符串的这种缺陷,SDS通过未使用空间解除了字符串长度和底层数组长度之间的关联:在SDS中,buf数组的长度不一定就是字符数量加一,数组里面可以包含未使用的字节,而这些字节的数量就由SDS的free属性记录。

    通过未使用空间,SDS实现了空间预分配和惰性空间释放两种优化策略。

1.空间预分配

    空间预分配用于优化SDS的字符串操作:当SDS的API对一个SDS进行修改,并且需要对SDS进行空间扩展的时候,程序不仅会为SDS分配修改所必须要的空间,还会为SDS分配额外的未使用空间。

    其中,额外分配的未使用空间数量由以下公式决定:

• 如果对SDS进行修改之后,SDS长度(也即是len属性的值)将小于1MB,那么程序分配和len属性同样大小的未使用空间,这时SDS len属性的值将和free属性的值相同。举个例子,如果进行修改之后,SDS的len将变成13个字节,那么程序也会分配13字节的未使用空间,SDS的buf数组的实际长度将会变为13+13+1=27字节。
• 如果对SDS进行修改之后,SDS的长度将大于等于1MB,那么程序分配1MB的未使用空间。举个例子,如果进行修改之后,SDS的len将变成30MB,那么程序会分配1MB的未使用空间,SDS的buf数组的实际长度将为30MB+1Mb+1byte。

通过空间预分配策略,Redis可以减少连续执行字符串增长所需的内存重分配次数。

    举个例子,对于图2-11所示的SDS的值s来说,如果执行:sdscat(s," Cluster");

    如果这时,我们再次对s执行:sdscat(s," Tutorial");

2.惰性空间释放

    当SDS的API需要缩短SDS保存的字符串时,程序并不立即使用内存重分配来回收缩短后多出来的字节,而是使用free属性将这些字节的数量记录起来,并等待将来使用。

    举个例子,sdstrim函数接受一个SDS和一个C字符串作为参数,移除SDS中所有在C字符串中出现过的字符。

    比如对于图2-14所示的SDS值s来说,执行:

sdstrim(s,"XY"); // 移除SDS字符串中的所有'X'和'Y'

    注意执行sdstrim之后的SDS并没与释放多出来的8字节空间,而是将这8字节空间作为未使用空间保留在了SDS里面,如果将来要对SDS进行增长操作的话,这些未使用的空间就可能会派上用场。

    举个例子,如果现在对s执行:sdscat(s," Redis");

2.2.4 二进制安全

    SDS的API都是二进制安全的,因此,为了确保Redis可以适用于各种不同的使用场景,SDS的API都是二进制安全的(binary-safe),所有SDS API都会以处理二进制的方式来处理SDS存放在buf数组里的数据,程序不会对其中的数据做任何限制、过滤、或者假设,数据在写入时是什么样的,他被读取时就是什么样。

2.2.5 兼容部分C字符串函数

strcasecmp(sds->buf,"hello world"); //对比sds值和c字符串值

2.2.6总结

2.3 SDS API

2.4重点回顾