这是《Redis设计与实现》的第一部分内容--数据结构与对象。介绍了 Redis 中的各种对象及其数据结构并说明这些数据结构如何影响对象的功能和性能。
第1章 简单动态字符串
Redis没有直接使用C语言传统的字符串表示（以空字符结尾的字符数组，以下简称C字符串)，而是自己构建了一种名为简单动态字符串（ simple dynamic string，SDS )的抽象类型，并将SDS用作 Redis 的默认字符串表示。其本质是一个字符数组。
为什么不直接只用C语言的字符串？
功能：常量复杂度获取字符串长度
因为C字符串并不记录自身的长度信息，所以为了获取一个C字符串的长度，程序必须遍历整个字符串，对遇到的每个字符进行计数，直到遇到代表字符串结尾的空字符为止,这个操作的复杂度为O(N)。
和C字符串不同，因为SDS在len属性中记录了SDS本身的长度，所以获取一个SDS长度的复杂度仅为O(1)。
安全：杜绝缓冲区溢出
C字符串不记录自身长度带来的另一个问题是容易造成缓冲区溢出( buffer overflow)。
与C字符串不同，SDS进行了优化:当需要对SDS进行修改时，API会先检查SDS 的空间是否满足修改所需的要求，如果不满足的话，API会自动将SDS的空间扩展至执行修改所需的大小，然后才执行实际的修改操作，所以使用SDS既不需要手动修改SDS的空间大小，也不会出现前面所说的缓冲区溢出问题。
效率：减少修改字符串时带来的内存重分配次数
每次增长或者缩短一个C字符串，程序都会进行一次内存重分配操作，效率低下。SDS通过未使用空间实现了空间预分配和惰性释放两种优化策略，提高的效率
第2章 链表
-
链表被广泛用于实现Redis 的各种功能，比如列表键、发布与订阅、慢查询、监视器等。
-
每个链表节点由一个listNode结构来表示，每个节点都有一个指向前置节点和后置节点的指针，所以Redis 的链表实现是双端链表。
-
每个链表使用一个list结构来表示，这个结构带有表头节点指针、表尾节点指针，以及链表长度等信息。
-
因为链表表头节点的前置节点和表尾节点的后置节点都指向NULL，所以Redis的链表实现是无环链表。
-
通过为链表设置不同的类型特定函数，Redis 的链表可以用于保存各种不同类型的值。
第3章 字典
字典，又称为符号表( symbol table)、关联数组( associative array)或映射( map )，是一种用于保存键值对（ key-value pair )的抽象数据结构。在字典中，一个键( key)可以和一个值( value)进行关联（或者说将键映射为值)，这些关联的键和值就称为键值对。Redis 中的字典使用哈希表作为底层实现，每个字典带有两个哈希表，一个平时使用，另一个仅在进行rehash 时使用。
Hash算法：Redis使用MurmurHash算计进行键的定位，当有键发生冲突之后，使用链地址法( separate chaining)来解决键冲突，使用头插法进行插入
键冲突：因为dictEntry节点组成的链表没有指向链表表尾的指针，所以为了速度考虑，程序总是将新节点添加到链表的表头位置（复杂度为O(1))，排在其他已有节点的前面。
rehash：rehash过程会再新建一个字典ht[1]用来接收rehash的结果。其过程如下
1）为字典的ht [ 1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对数量（也即是ht [0 ].used属性的值):
2）将保存在ht [0]中的所有键值对rehash到ht[1]上面: rehash指的是重新计算键的哈希值和索引值，然后将键值对放置到ht [1]哈希表的指定位置上。
3 ）当ht [0]包含的所有键值对都迁移到了ht[1]之后( ht [ 0]变为空表)，释放ht [0]，将ht[1]设置为ht[0]，并在ht[1]新创建一个空白哈希表，为下一次rehash做准备。
渐进式rehash：但这个rehash动作并不是一次性、集中式地完成的，而是分多次、渐进式地完成的。因为当字典中的内容比较多的时候，一次性将这些键值对全部rehash到ht [1]的话，庞大的计算量可能会导致服务器在一段时间内停止服务。
因此，为了避免rehash对服务器性能造成影响，服务器分多次、渐进式地将ht [0]里面的键值对慢慢地rehash到ht [ 1 ]。
在渐进式rehash的过程中，插入操作使用的是ht[1]，保证了ht[0]只减不增，字典的删除（ delete )、查找( find)、更新( update)在两个字典中进行。
第4章 跳跃表
跳跃表（ skiplist）是一种有序数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。Redis使用跳跃表作为有序集合键的底层实现之一，如果一个有序集合包含的元素数量比较多，又或者有序集合中元素的成员( member)是比较长的字符串时，Redis就会使用跳跃表来作为有序集合键的底层实现。跳跃表中的节点按照分值大小进行排序，当分值相同时，节点按照成员对象的大小进行排序。
Redis只在两个地方用到了跳跃表，一个是实现有序集合对象，另一个是在集群节点中用作内部数据结构。
Redis的跳跃表实现由zskiplist和zskiplistNode两个结构组成，其中zskiplist用于保存跳跃表信息（比如表头节点、表尾节点、长度)，而zskiplistNode则用于表示跳跃表节点。
跳跃表有几个重要的概念
层
跳跃表节点的level数组可以包含多个元素，每个元素都包含一个指向其他节点的指针，程序可以通过这些层来加快访问其他节点的速度，一般来说，层的数量越多，访问其他节点的速度就越快。每次创建一个新跳跃表节点的时候，程序都根据幂次定律( power law，越大的数出现的概率越小）随机生成一个介于1和 32之间的值作为level数组的大小，这个大小就是层的“高度”。
前进指针
每个层都有一个指向表尾方向的前进指针( level[ i ].forward属性)，用于从表头向表尾方向访问节点。
跨度
层的跨度( level[i].span属性）用于记录两个节点之间的距离:
后退指针
节点的后退指针( backward属性）用于从表尾向表头方向访问节点:跟可以一次跳过多个节点的前进指针不同，因为每个节点只有一个后退指针，所以每次只能后退至前一个节点。
分值和成员
节点的分值( score属性）是一个double类型的浮点数，跳跃表中的所有节点都按分值从小到大来排序。
节点的成员对象（ obj属性）是一个指针，它指向一个字符串对象，而字符串对象则保存着一个SDS值。
第5章 整数集合
整数集合( intset)是集合键的底层实现之一，整数集合的底层实现为数组，这个数组以有序、无重复的方式保存集合元素，在有需要时，程序会根据新添加元素的类型，改变这个数组的类型。
升级操作为整数集合带来了操作上的灵活性，并且尽可能地节约了内存。整数集合只支持升级操作，不支持降级操作。
第6章 压缩列表
压缩列表(ziplist)是列表键和哈希键的底层实现之一。压缩列表是一种为节约内存而开发的顺序型数据结构。
压缩列表的从表尾向表头遍历操作实现原理
节点的 previous_entry_length属性以字节为单位，记录了压缩列表中前一个节点的长度。因为节点的previous_entry_length属性记录了前一个节点的长度，所以程序可以通过指针运算，根据当前节点的起始地址来计算出前一个节点的起始地址。举个例子，如果我们有一个指向当前节点起始地址的指针c，那么我们只要用指针c减去当前节点previous_entry_length属性的值，就可以得出一个指向前一个节点起始地址的指针p.
第7章 对象
Redis基于这些数据结构创建了一个对象系统，其中包括：字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象。
好处1： 通过这五种不同类型的对象，Redis可以在执行命令之前，根据对象的类型来判断一个对象是否可以执行给定的命令。
好处2：可以针对不同的使用场景.为对象设置多种不同的数据结构实现，从而优化对象在不同场景下的使用效率。
好处3：Redis 的对象系统还实现了基于引用计数技术的内存回收机制，当程序不再使用某个对象的时候，这个对象所占用的内存就会被自动释放;
好处4：Redis还通过引用计数技术实现了对象共享机制，这一机制可以在适当的条件下，通过让多个数据库键共享同个对象来节约内存。
好处5：Redis的对象带有访问时间记录信息，该信息可以用于计算数据库键的空转时长，在服务器启用了maxmemory功能的情况下，空转时长较大的那些键可能会优先被服务器删除。
7.1 对象的类型与编码
redisObject结构
t ypedef struct redisobject {
//类型
unsigned type: 4;
//编码
unsigned encoding : 4;
//指向底层实现数据结构的指针
void *ptr;
// ...
} robj;
7.1.1 类型 -- type
对象的类型
| REDIS_STRING | 字符串对象 | REDIS_LIST | 列表对象 |
| REDIS_HASH | 哈希对象 | REDIS_SET | 集合对象 |
| REDIS_ZSET | 有序集合对象 |
对于Redis数据库保存的键值对来说，键总是一个字符串对象，而值则可以是字符串对象、列表对象、哈希对象、集合对象或者有序集合对象。
7.1.2 编码与底层实现
编码
object encoding key
类型，编码，对象
每种类型的对象都至少使用了两种不同的编码
使用编码的好处
通过encoding属性来设定对象所使用的编码，而不是为特定类型的对象关联一种固定的编码，极大地提升了Redis的灵活性和效率，因为Redis可以根据不同的使用场景来为一个对象设置不同的编码，从而优化对象在某一场景下的效率。
举个例子，在列表对象包含的元素比较少时，Redis使用压缩列表作为列表对象的底层实现:
因为压缩列表比双端链表更节约内存，并且在元素数量较少时，在内存中以连续块方式保存的压缩列表比起双端链表可以更快被载入到缓存中;
随着列表对象包含的元素越来越多，使用压缩列表来保存元素的优势逐渐消失时，对象就会将底层实现从乐缩列表转向功能事强、也事活合保存大量亓素的双端链表卜面:
7.2 字符串对象
字符串对象的编码可以是int、raw或者embstr。
| int | 对象保存的是整数值，并且这个整数值可以用long类型来表示 |
| raw | 字符串对象保存的是一个字符串值，并且这个字符串值的长度大于32字节, |
| embstr | 字符串对象保存的是一个字符串值，并且这个字符串值的长度小于等于32字节 |
embstr （emb：embedded，嵌入）
embstr编码是专门用于保存短字符串的一种优化编码方式，这种编码和raw编码一样，都使用redis0bject结构和sdshdr结构来表示字符串对象，但raw编码会调用两次内存分配函数来分别创建redisobject结构和sdshdr结构，而embstr编码则通过调用一次内存分配函数来分配一块连续的空间，空间中依次包含redisobject和sdshdr两个结构，产生的效果和raw一样。有以下好处：
embstr编码将创建字符串对象所需的内存分配次数从raw编码的两次降低为一次。
释放embstr编码的字符串对象只需要调用一次内存释放函数，而释放raw编码的字符串对象需要调用两次内存释放函数。
因为embstr编码的字符串对象的所有数据都保存在一块连续的内存里面，所以这种编码的字符串对象比起raw编码的字符串对象能够更好地利用缓存带来的优势。
最后要说的是，可以用long double类型表示的浮点数在Redis中也是作为字符串值来保存的。如果我们要保存一个浮点数到字符串对象里面，那么程序会先将这个浮点数转换成字符串值,然后再保存转换所得的字符串值。
相关方法
7.3 列表对象
列表对象的编码可以是ziplist或者linkedlist。
ziplist编码的列表对象使用压缩列表作为底层实现，每个压缩列表节点( entry)保存了一个列表元素。
linkedlist编码的列表对象使用双端链表作为底层实现，每个双端链表节点( node )都保存了一个字符串对象，而每个字符串对象都保存了一个列表元素。
7.3.1 编码转换
当列表对象可以同时满足以下两个条件时，列表对象使用ziplist编码:
-
列表对象保存的所有字符串元素的长度都小于64字节;
-
列表对象保存的元素数量小于512个;
7.4 哈希对象
哈希对象的编码可以是ziplist或者hasttable。
ziplist编码的哈希对象使用压缩列表作为底层实现，每当有新的键值对要加入到哈希对象时，程序会先将保存了键的压缩列表节点推入到压缩列表表尾，然后再将保存了值的压缩列表节点推入到压缩列表表尾
hashtable编码的哈希对象使用字典作为底层实现，哈希对象中的每个键值对都使用一个字典键值对来保存:字典的每个键都是一个字符串对象，对象中保存了键值对的键;字典的每个值都是一个字符串对象，对象中保存了键值对的值。
7.4.1 编码转化
ziplist编码使用场景，如下。不能满足这两个条件的哈希对象使用hashtable编码
-
哈希对象保存的所有键值对的键和值的字符串长度都小于64字节
-
哈希对象保存的键值对数量小于512个；
7.5 集合对象
集合对象的编码可以是inset或者hashtable
intset编码的集合对象使用整数集合作为底层实现，集合对象包含的所有元素都被保存在整数集合里面。
hashtable编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象，每个字符串对象包含了一个集合元素，而字典的值则全部被设置为NULL.
7.5.1 编码的转换
当集合对象可以同时满足以下两个条件时，对象使用intset编码:
-
集合对象保存的所有元素都是整数值;
-
集合对象保存的元素数量不超过512个。
7.6 有序集合对象
有序集合zset的编码可以是ziplist或者skiplist。
ziplist编码的压缩列表对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员( member)，而第二个元素则保存元素的分值（ score )。压缩列表内的集合元素按分值从小到大进行排序，分值较小的元素被放置在靠近表头的方向，而分值较大的元素则被放置在靠近表尾的方向。
zset使用skiplist来编码时，其结构如下。其结构分为两部分，跳跃表zsl和字典dict。
typedef struct zset {
zskiplist *zsl;
dict *dict;
}zset;其中zsl跳跃表按分值从小到大保存了所有集合元素，每个跳跃表节点都保存了一个集合元素:跳跃表节点的object属性保存了元素的成员，而跳跃表节点的score属性则保存了元素的分值。通过这个跳跃表，程序可以对有序集合进行范围型操作，比如ZRANK、ZRANGE等命令就是基于跳跃表API来实现的。
dict字典为有序集合创建了一个从成员到分值的映射，字典中的每个键值对都保存了一个集合元素:字典的键保存了元素的成员，而字典的值则保存了元素的分值。通过这个字典，程序可以用O(1)复杂度查找给定成员的分值，ZSCORE命令就是根据这一特性实现的，而很多其他有序集合命令都在实现的内部用到了这一特性。
有序集合每个元素的成员都是一个字符串对象，而每个元素的分值都是一个double类型的浮点数。值得一提的是，虽然zset结构同时使用跳跃表和字典来保存有序集合元素，但这两种数据结构都会通过指针来共享相同元素的成员和分值，所以同时使用跳跃表和字典来保存集合元素不会产生任何重复成员或者分值，也不会因此而浪费额外的内存。
为什么有序集合需要同时使用跳跃表和字典来实现?
在理论上，有序集合可以单独使用字典或者跳跃表的其中一种数据结构来实现，但无论单独使用字典还是跳跃表，在性能上对比起同时使用字典和跳跃表都会有所降低。举个例子，如果我们只使用字典来实现有序集合，那么虽然以o(1)复杂度查找成员的分值这一特性会被保留，但是，因为字典以无序的方式来保存集合元素，所以每次在执行范围型操作——比如ZRANK、ZRANGE等命令时，程序都需要对字典保存的所有元素进行排序，完成这种排序需要至少o(NlogN)时间复杂度，以及额外的o(N)内存空间（因为要创建一个数组来保存排序后的元素)。
另一方面，如果只使用跳跃表来实现有序集合，那么跳跃表执行范围型操作的所有优点都会被保留，但因为没有了字典，所以根据成员查找分值这一操作的复杂度将从o(1)上升为o(logN)。因为以上原因，为了让有序集合的查找和范围型操作都尽可能快地执行，Redis 选择了同时使用字典和跳跃表两种数据结构来实现有序集合。
7.6.1 编码的转换
当有序集合对象可以同时满足以下两个条件时，对象使用ziplist编码:
-
有序集合保存的元素数量小于127个;
-
有序集合保存的所有元素成员的长度都小于64字节;
7.7 类型检查与命令多态
Redis中用于操作键的命令基本上可以分为两种类型。
-
可以对任何类型的键执行，比如说DEL命令、EXPIRE命令、RENAME命令、TYPE命令、OBJECT命令等。
-
只能对特足类型的键执行，比如说:
-
SET、GET、APPEND、STRLEN等命令只能对字符串键执行;
-
HDEL、HSET、HGET、HLEN等命令只能对哈希键执行;
-
RPUSH、LPOP、LINSERT、LLEN等命令只能对列表键执行;
-
SADD、SPOP、SINTER、SCARD等命令只能对集合键执行;
-
ZADD、ZCARD、ZRANK、ZSCORE等命令只能对有序集合键执行;
-
7.7.1 类型检查的实现
类型特定命令所进行的类型检查是通过redis0bject结构的type属性来实现的:
-
在执行一个类型特定命令之前，服务器会先检查输入数据库键的值对象是否为执行命令所需的类型,如果是的话,服务器就对键执行指定的命令;
-
否则，服务器将拒绝执行命令，并向客户端返回一个类型错误。
7.7.2 多态命令的实现
Redis除了会根据值对象的类型来判断键是否能够执行指定命令之外，还会根据值对象的编码方式，选择正确的命令实现代码来执行命令。
7.8 内存回收
Redis在自己的对象系统中构建了一个引用计数( reference counting )技术实现的内存回收机制，通过这一机制，程序可以通过跟踪对象的引用计数信息,在适当的时候自动释放对象并进行内存回收。
typedef struct redisObject {
// 引用计数
int refcount;
}对象的引用计数信息会随着对象的使用状态而不断变化:
-
在创建一个新对象时，引用计数的值会被初始化为1;
-
当对象被一个新程序使用时,它的引用计数值会被增一;
-
当对象不再被一个程序使用时，它的引用计数值会被减一;
-
当对象的引用计数值变为0时，对象所占用的内存会被释放(操作完对象之后也会减1)。
7.9 数据共享
除了用于实现引用计数内存回收机制之外，对象的引用计数属性还带有对象共享的作用。
为什么Redis不共享包含字符串的对象?
当服务器考虑将一个共享对象设置为键的值对象时，程序需要先检查给定的共享对象和键想创建的目标对象是否完全相同，只有在共享对象和目标对象完全相同的情况下，程序才会将共享对象用作键的值对象，而一个共享对象保存的值越复杂，验证共享对象和目标对象是否相同所需的复杂度就会越高，消耗的CPU时间也会越多:
如果共享对象是保存整数值的字符串对象，那么验证操作的复杂度为O(1);如果共享对象是保存字符串值的字符串对象，那么验证操作的复杂度为O(N);如果共享对象是包含了多个值（或者对象的）对象，比如列表对象或者哈希对象，那么验证操作的复杂度将会是O(N )。
因此，尽管共享更复杂的对象可以节约更多的内存，但受到CPU时间的限制，Redis只对包含整数值的字符串对象进行共享。
7.10 对象的空转时长
除了前面介绍过的type、encoding、ptr和refcount四个属性之外，redis0bject结构包含的最后一个属性为lru（least recently used-最近最少使用）属性，该属性记录了对象最后一次被命令程序访问的时间。空转时长就是通过将当前间减去键的值对象的lru时间计算得出的。
如果服务器打开了maxmemory选项，并且服务器用于回收内存的算法为volatile-lru或者allkeys-lru，那么当服务器占用的内存数超过了maxmemory选项所设置的上限值时，空转时长较高的那部分键会优先被服务器释放，从而回收内存。
111
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
