redis源码之对象

未完待续…

对象

简介：

对于 Redis 数据库保存的键值对来说， 键总是一个字符串对象， 而值则可以是：
1.字符串对象、
2.列表对象、
3.哈希对象、
4.集合对象、
5.有序集合对象
的其中一种。

2.定义

所有的对象都是按照如下的方式定义的，而不同的对象他们对应的值不同而已，但是结构都是如下所示。

typedef struct redisObject {

    // 类型，TYPE命令返回数据库键对应的值对象的类型，而不是键对象的类型。
    unsigned type:4;

    // 编码，OBJECT ENCODING命令时，命令可以查看一个数据库键的值对象的编码。
    unsigned encoding:4;

    // 指向实际值的指针，指向实际类型对象
    void *ptr;

    // 引用计数，any量的引用
    int refcount;

    // 对象最后一次被访问的时间，OBJECT IDLETIME 命令可以打印出给定键的空转时长
    unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */

} robj;

1.type
当我们对一个数据库键执行TYPE命令时，命令返回的结果为数据库键对应的值对象的类型，而不是键对象的类型。

对象	对象 type 属性的值	TYPE 命令的输出
字符串对象	REDIS_STRING	“string”
列表对象	REDIS_LIST	“list”
哈希对象	REDIS_HASH	“hash”
集合对象	REDIS_SET	“set”
有序集合对象	REDIS_ZSET	“zset”

2.encoding
encoding 属性记录了对象所使用的编码，同样，当我们对一个数据库键执行OBJECT ENCODING命令时，命令可以查看一个数据库键的值对象的编码。

编码常量	编码所对应的底层锺据结构
REDIS_ENCODING_INT	long 类型的整数
REDIS_ENCODING_EMBSTR	embstr 编码的简单动态字符串
REDIS_ENCODING_RAW	简单动态字符串
REDIS_ENCODING_HT	字典
REDIS_ENCODING_LINKEDLIST	双端链表
REDIS_ENCODING_ZIPLIST	压缩列表
REDIS_ENCODING_INTSET	整数集合
REDIS_ENCODING_SKIPLIST	跳跃表和字典

每种类型的对象都至少使用了两种不同的编码， 下表表示出了每种类型的对象可以使用的编码。

通过 encoding 属性来设定对象所使用的编码， 而不是为特定类型的对象关联一种固定的编码， 极大地提升了 Redis 的灵活性和效率， 因为 Redis 可以根据不同的使用场景来为一个对象设置不同的编码， 从而优化对象在某一场景下的效率。
举个例子， 在列表对象包含的元素比较少时， Redis 使用压缩列表作为列表对象的底层实现：
因为压缩列表比双端链表更节约内存， 并且在元素数量较少时， 在内存中以连续块方式保存的压缩列表比起双端链表可以更快被载入到缓存中；
随着列表对象包含的元素越来越多， 使用压缩列表来保存元素的优势逐渐消失时， 对象就会将底层实现从压缩列表转向功能更强、也更适合保存大量元素的双端链表上面。
在接下来的内容中，我们将分别介绍Redis 中的五种不同类型的对象，说明这些对象底层所使用的编码方式，列出对象从一种编码转换成另一种编码所需的条件，以及同一个命令在多种不同编码上的实现方法。
3.refcount
Redis 的对象系统还实现了基于引用计数技术的内存回收机制，当程序不再使用某个对象的时候，这个对象所占用的内存就会被自动择放；另外， Redis 还通过引用计数技术实现了对象共享机制，这一机制可以在适当的条件下，通过让多个数据库键共事同一个对象来节约内存。
4.lru
对象最后一次被访问的时间，Redis 的对象带有访问时间记录信息，该信息可以用于计算数据库键的空转时长。
5.ptr
对象的ptr 指针指向对象的底层实现数据结构，而这些数据结构由对象的enc。ding
属性决定。

2. string对象

（一）介绍
字符串对象的编码可以是int, raw 或者embstr 。
1.如果一个字符串对象保存的是整数值，用long 类型来表示，将字符串对象的编码设置为int。
2.如果字符串对象保存的是一个字符串值，并且这个字符串值的长度大于32 宇节，那么字符串对象将使用一个简单动态字符串（ SDS ）来保存这个字符串值，并将对象的编码设置为raw。
3.如果字符串对象保存的是一个字符串值，并且这个字符串值的长度小于等于32 字节，那么字符串对象将使用ernbstr 编码的方式来保存这个字符串值。
注意1： raw 编码会调用两次内存分配函数来分别创建redisObject 结构和sdshdr 结构，而embstr 编码则通过调用一次内存分配函数来分配一块连续的空间，空间中依次包含redisObject 和sdshdr两个结构。


注意2：可以用long double 类型表示的浮点数在Redis 中也是作为宇符串值来保存的。如果我们要保存一个浮点数到字符串对象里面，那么程序会先将这个浮点数转换成字符串值，然后再保存转换所得的字符串值。在有需要的时候，程序会将保存在字符串对象里面的字符串值转换回浮点数值，执行某些操作，然后再将执行操作所得的撑点数值转换回字符串值，并继续保存在字符串对象里面。
注意3： 字符串值，或者因为长度太大而没办法用long 类型表示的整数，又或者因为长度太太而没办法用long double 类型表示的浮点数。
（二）编码转换
int 编码的字符串对象和embstr 编码的字符串对象在条件满足的情况下，会被转换
为raw 编码的字符串对象。
Redis 没有为embstr 编码的字符串对象编写任何相应的修改程序（只有int 编码的字符串对象和raw 编码的字符串对象有这些程序），所以embstr 编码的字符串对象实际上是只读的。当我们对embstr 编码的字符串对象执行任何修改命令时，程序会先将对象的编码从embstr 转换成raw ，然后再执行修改命令。
因为这个原因， embstr编码的字符串对象在执行修改命令之后，总会变成一个raw 编码的字符串对象。
（三）字符串命令的实现

命令	int 编码的实现方法	embstr 编码的实现方法	raw 编码的实现方法
SET	使用int 编码保存值	使用embstr 编码保存值	使用raw 编码保存值
GET	拷贝对象所保存的整数值，将直接向客户端返回字符串值，然后向客户端返回这个字符串值	直接向客户端返回字符串值	直接向客户端返回字符串值
APPEND	将对象转换成raw 编码，然后按raw 编码的方式执行此操作	将对象转换成raw 编码，然后按raw 编码的方式执行此操作	调用sdscatlen 函数，将给定字符串追加到现有字符串的末尾
INCRBYFLOAT	取出整数值并将其转换成long double 类型的撑点数，对这个浮点数进行加法计算，然后将得出的浮点数结果保存起来	取出整数值并将其转换成long double 类型的撑点数，对这个浮点数进行加法计算，然后将得出的浮点数结果保存起来。如果字符串值不能被转换成浮点数，那么向客户端返回一个错误	取出整数值并将其转换成long double 类型的撑点数，对这个浮点数进行加法计算，然后将得出的浮点数结果保存起来。如果字符串值不能被转换成浮点数，那么向客户端返回一个错误
INCRBY	对整数值进行加法计算，得出的计算结果会作为整数被保存起来	embstr 编码不能执行此命令，向客户端返回一个错误	raw 编码不能执行此命令，向客户端返回一个错误
DECRBY	对整数值进行减法计算，得出的计算结果会作为整数被保存起来	embstr 编码不能执行此命令，向客户端返回一个错误	aw 编码不能执行此命令，向客户端返回一个错误
STRLEN	拷贝对象所保存的整数值，将这个拷贝转换成字符串值，计算并返回这个字符串值的长度	调用sdslen 函数，返回字符净的长度	调用sdslen 函数，返回字符净的长度
SETRANGE	将对象转换成raw 编码，然后按raw 编码的方式制于此命令	将对象转换成raw 编码，然后按raw 编码的方式制于此命令	将字符串特定索引上的值设置为给定的字符
GE1页ANGE	拷贝对象所保存的整数值，将这个拷贝转换成字符串值，然后取出并返回字符串指定索引上的字符	直接取出并返回字符串指定索引上的字符	直接取出并返回字符串指定索引上的字符

3. 列表对象

（一）介绍
列表对象的编码可以是ziplist 或者linkedlist 。
redis> RPUSH numbers l ” three” 5
(integer) 3


其中StringObject 字样的格子具体如下所示：

注意: linkedlist 编码的列表对象在底层的双端链表结构中包含了多个字符串对象，这种嵌套字符串对象的行为在稍后介绍的晗希对象、集合对象和有序集合对象中都会出现，字符串对象是Redis 五种类型的对象中唯一一种会被其他四种类型对象嵌套的对象。
（二）编码转换
当列表对象可以同时满足以下两个条件时，列表对象使用ziplist 编码：
- 列表对象保存的所有字符串元素的长度都小于64 字节；
- 列表对象保存的元素数量小于512 个；不能满足这两个条件的列表对象需要使用
linkedlist 编码。
以上两个条件的上限值是可以修改的，具体请看配直文件中关于list-max-ziplistvalue选项和list-max-ziplist-entries 选项的说明。
（三）列表命令的实现

命令	ziplist 编码的实现方法	link回list 编码的实现方法
LPUSH	调用ziplistPush 函数，将新元素推入到压缩列袤的表头	调用listAddNodeHead 函数，将新元素推入到双端链表的表头
RPUSH	调用ziplistPush 函数，将新元素推入到压缩列袤的表尾	调用listAddNodeTail 函数，将新元素推入到双端链表的表尾
LPOP	调用ziplistIndex 函数定位压缩列表的表头节点，在向用户返回节点所保存的元素之后，调用ziplistDelete 函数删除表头节点	调用 listFirst 函数定位双端链表的表头节点，在向用户返回节点所保存的元素之后，调用listDelNode 函数删除表头节点
RPOP	调用ziplistIndex 函数定位压缩列表的表尾节点，在向用户返回节点所保存的元素之后，调用ziplistDelete 函数删除表尾节点	调用 listList 函数定位双端链表的表尾节点，在向用户返回节点所保存的元素之后，调用listDelNode 函数删除表尾节点
LINDEX	调用ziplistIndex 函数定位压缩列表的指定节点，然后返回节点所保存的元素	调用list Index 函数定位压缩列表的指定节点，然后返回节点所保存的元素
LLEN	调用ziplistLen 函数返回压缩列表的长度	调用listLength 函数返回双端链袤的长度
LINSERT	插入新节点到压缩列表的表头或者表尾时，使用ziplistPush 函数z 插入新节点到压缩列表的其他位置时，使用ziplistlnsert 函数	调用listlnsertNode 函数，将新节点插入到双端链表的指定位置
LREM	遍历压缩列表节点，并词用ziplistDelete函数删除包含了给定元素的节点	遍历双端链表节点，并调用listDelNode 函数删除包含了给定元素的节点
LTRIM	词用ziplistDeleteRange 函数，删除压缩列表中所有不在指定索引范围内的节点	遍历双端链表节点，并调用listDelNode 函数删除链表中所有不在指定索引范围内的节点
LSET	调用ziplistDelete 函数，先删除压缩列表指定索引上的现有节点，然后调用ziplistInsert函数，将一个包含给定元素的新节点插入到相同索引上面	调用listlndex 函数，定位到双端链表指定索引上的节点，然后通过赋值操作更新节点的值

4.哈希对象

（一）介绍
哈希对象的编码可以是ziplist 或者hashtable 。
(1)ziplist 编码的哈希对象使用压缩列表作为底层实现，每当有新的键值对要加入到哈
希对象时，程序会先将保存了键的压缩列表节点推入到压缩列表表尾，然后再将保存了值的压缩列表节点推入到压缩列表表尾，因此：
- 保存了同一键值对的两个节点总是紧挨在一起，保存键的节点在前，保存值的节点在后；
(2)hash table 编码的哈希对象使用宇典作为底层实现，哈希对象中的每个键
值对都使用一个字典键值对来保存；


（二）编码转换
当哈希对象可以同时满足以下两个条件时，晗希对象使用ziplist 编码：
- 哈希对象保存的所有键值对的键和值的字符串长度都小于64 字节；
- 哈希对象保存的键值对数量小于512 个；不能满足这两个条件的晗希对象需要使用hash table 编码。
（这两个条件的上限值是可以修改的，具体请看配直文件中关于hashmaxziplistvalue选项和hash-max-ziplist-entries 选项的说明。）
（三）哈希命令的实现

5.集合对象

（一）介绍
集合对象的编码可以是int set 或者hashtable 。
(1)intset 编码的集合对象使用整数集合作为底层实现
(2)hash table 编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象，每个字符串对象包含了一个集合元素，而宇典的值则全部被设置为NULL。

（二）编码转换
当集合对象可以同时满足以下两个条件时，对象使用int set 编码：
- 集合对象保存的所有元素都是整数值；
- 集合对象保存的元素数量不超过512 个。
- 不能满足这两个条件的集合对象需要使用hash table 编码。
（第二个条件的上限值是可以修改的，具体请看配置文件中关于set-max-intsetentries选项的说明。）
（三）哈希命令的实现

命令	intset 编码的实现方法	hashtable编码的实现方法
SADD	调用intsetAdd 函数，将所有新元素添加到整数集合里面	调用dictAdd ，以新元素为键，NULL为值，将键值对添加到字典里面

6.有序集合对象

（一）介绍
有序集合的编码可以是ziplist 或者skiplist。
有序集合每个元素的成员都是一个字符串对象，而每个元素的分值都是一个double 类型的浮点数。值得一提的是，虽然zset 结构同时使用跳跃表和字典来保存有序集合元素，但这两种数据结构都会通过指针来共事相同元素的成员和分值，所以同时使用跳跃表和字典来保存集合元素不会产生任何重复成员或者分值，也不会因此而浪费额外的内存。
(1)ziplist 编码的压缩列表对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员（ member ），而二个元素则保存元素的分值（ score ）。
压缩列表内的集合元素按分值从小到大进行排序，分值较小的元素被放置在靠近表头的方向，而分值较大的元素则被放置在靠近表尾的方向。
(2)skiplist 编码的有序集合对象使用zset 结构作为底层实现，一个zset 结构同时包含一个字典和一个跳跃表：

typedef struct zset {
    zskiplist *zsl;
    diet *dict;

(2-1)zset 结构中的zsl 跳跃表按分值从小到大保存了所有集合元素，每个跳跃表节点都保存了一个集合元素：跳跃表节点的object 属性保存了元素的成员，而跳跃表节点的score 属性则保存了元素的分值。通过这个跳跃表，程序可以对有序集合进行范围型操作，比如ZRANK、ZRANGE 等命令就是基于跳跃表API 来实现的。
(2-2)zset 结构中的diet 字典为有序集合创建了一个从成员到分值的映射，字典中的每个键值对都保存了一个集合元素：字典的键保存了元素的成员，而字典的值则保存了元素的分值。通过这个字典，程序可以用O(1)复杂度查找给定成员的分值，ZSCORE 命令就是根据这一特性实现的，而很多其他有序集合命令都在实现的内部用到了这一特性。

（二）编码转换
当有序集合对象可以同时满足以下两个条件时，对象使用ziplist 编码：

• 有序集合保存的元素数量小于128 个
• 有序集合保存的所有元素成员的长度都小于64 字节

不能满足以上两个条件的有序集合对象将使用skiplist 编码。
（以上两个条件的上限值是可以修改的，具体请看配直文件中关于zset-max-ziplistentries选项和zset-max-ziplist-value 选项的说明。）

注意：为什么有序集合需要同时使用跳跃表和字典来实现？
在理论上，有序集合可以单放使用字典或者跳跃在的其中一种数据结构来实现，但
无论单放使用字典还是跳跃在，在性能上对比起同时使用字典和跳跃表都会有所降低。举个例子，如果我们只使用字典来实现有序集合，那么虽然以O(1) 复杂度查找成员的分值这一特性会被保留，但是，因为字典以无序的方式来保存集合元素，所以每次在执行范围型操作一一比如ZRANK、ZRANGE 等命令时，程序都需要对字典保存的所有元素进行排序，完成这种排序需要至少O（NlogN）时间复杂度，以及额外的O(N） 内存空间（因为要创建一个数纽来保存排序后的元素）。
另一方面，如果我们只使用跳跃在来实现，有序集合，那么跳跃在执行范围型操作的所有优点都会被保留，但因为没有了字典，所以根据成员查找分值这一操作的复杂度将从0(1) 上升为O(logN)。因为以上原因，为了让有序集合的查找和范围型操作都尽可能快地执行， Redis 选择了同时使用字典和跳跃在两种数据结构来实现有序集合。
（三）有序集合命令的实现

7.类型检查与命令多态

1.类型检查
Redis 中用于操作键的命令基本上可以分为两种类型。
其中一种命令可以对任何类型的键执行，比如说DEL 命令、EXPIRE 命令、RENAME命令、TYPE 命令、OBJECT命令等。

而另一种命令只能对特定类型的键执行，比如说：
SET 、 GET 、 APPEND 、 STRLEN 等命令只能对字符串对象的键执行；
HDEL 、 HSET 、 HGET 、 HLEN 等命令只能对哈希对象的键执行；
RPUSH 、 LPOP 、 LINSERT 、 LLEN 等命令只能对列表对象的键执行；
SADD 、 SPOP 、 SINTER 、 SCARD 等命令只能对集合对象的键执行；
ZADD 、 ZCARD 、 ZRANK 、 ZSCORE 等命令只能对有序集合对象的键执行。

在执行一个类型特定命令之前，服务器会先检查输入数据库键的值对象是否为执行命令所需的类型，如果是的话，服务器就对键执行指定的命令；否则，服务器将拒绝执行命令，并向客户端返回一个类型错误。

2.命令多态
现在，考虑这样一个情况，如果我们对一个键执行LLEN命令，那么服务器除了要确保执行命令的是列表键之外，还需要根据键的值对象所使用的编码来选择正确LLEN 命令实现；因为列表对象有ziplist 和linkedlist两种编码可用，其中前者使用压缩列表API 来实现列表命令，而后者则使用双端链表API来实现列表命令。

• 如果列表对象的编码为ziplist ，那么说明列表对象的实现为压缩列表，程序将使
  用ziplistLen 函数来返回列表的长度；
• 如果列表对象的编码为linkedlist ，那么说明列表对象的实现为双端链表，程序
  将使用listLength 画数来返回双端链表的长度；

借用面向对象方面的术语来说，我们可以认为LLEN 命令是多态（ polymorphism )的，只要执行LLEN 命令的是列表键，那么无论值对象使用的是ziplist 编码还是linkedlist 编码，命令都可以正常执行。

实际上，我们可以将DEL 、EXPIRE、π’PE 等命令也称为多态命令，因为无论输入的键是什么类型，这些命令都可以正确地执行。DEL 、EXPIRE 等命令和LLEN 等命令的区别在于，前者是基于类型的多态一一一个命令可以同时用于处理多种不同类型的键，而后者是基于编码的多态一一一个命令可以同时用于处理多种不同码。

8.内存回收

Redis 在自己的对象系统中构建了一个引用计数（ reference counting ）技术实现的内存回收机制。
每个对象的引用计数信息由redisObject 结构的ref count 属性记录：

int refcount;

• 在创建一个新对象时，引用计数的值会被初始化为 1;
• 当对象被一个新程序使用时，它的引用计数值会被增 1；
• 当对象不再被一个程序使用时，它的引用计数值会被减 1；
• 当对象的引用计数值变为0 时，对象所占用的内存会被释放 。

修改对象引用计数的API：

函数	作用
incrRefCount	将对象的引用计数值增一
decrRefCount	将对象的引用计数值减一，当对象的引用计数值等于 0 时，释放对象
resetRefCount	将对象的引用计数值设置为0，但并不释放对象，这个函数通常在需要重新设置对象的引用计数时使用

//创建一个字符串对象s ，对象的引用计数为1
robj *s = createStringObject( ... )

//对象 s 执行各种操作...

//将对象s 的引用计数减一，使得对象的引用计数变为0
//导致对象s 被释放
decrRefCount(s)

9.对象共享

在 Redis 中， 让多个键共享同一个值对象需要执行以下两个步骤：

• 将数据库键的值指针指向一个现有的值对象；
• 将被共享的值对象的引用计数增一。

需要注意的是：
目前来说， Redis 会在初始化服务器时，创建一万个字符串对象，这些对象包含了从0到9999 的所有整数值，当服务器需要用到值为0 到9999 的字符串对象时，服务器就会使用这些共享对象，而不是新创建对象。
（创建共享字符串对象的数量可以通过修改redis.h/REDIS SHARED INTEGERS 常量来修改。）

举例说明这一万个字符串对象：
OBJECT REFCOUNT 命令查看键A的值对象的引用计数，此时会发现值对象的引用计数为2；

引用这个值对象的两个程序分别是持有这个值对象的服务器程序 以及共事这个值对象的键A；如果这时我们再创建一个值为100 的键B，那么键B 也会指向包含整数值100 的共事对象，使得共事对象的引用计数值变为3。

另外，这些共事对象不单单只有字符串键可以使用，那些在数据结构中嵌套了字符串对象的对象（ linkedlist 编码的列表对象、hashtable 编码的晴希对象、hashtable 编码的集合对象，以及zset 编码的有序集合对象）都可以使用这些共事对象。

10.对象的空转时长

unsigned lru:REDIS_LRU_BITS; 

lru 属性记录了对象最后一次被命令程序访问的时间：
OBJECT IDLETIME 命令可以打印出给定键的空转时长，这一空转时长就是通过将当前时间减去键的值对象的 lru 时间计算得出的。

除了可以被OBJECT IDLETIME 命令打印出来之外，键的空转时长还有另外一项作用：如果服务器打开了maxmemory 选项，并且服务器用于回收内存的算法为volatile-lru或者allkeys-lru ，那么当服务器占用的内存数超过了maxmemory 选项所设置的上限值时，空转时长较高的那部分键会优先被服务器释放，从而回收内存。
配置文件的maxmemory 选项和maxmemory-policy 选项的说明介绍了关于这方面
的更多信息。

小结

• Redis 数据库中的每个键值对的键和值都是一个对象。
• Redis 共有字符串、列表、晗希、集合、有序集合五种类型的对象，每种类型的对象至少都有两种或以上的编码方式，不同的编码可以在不同的使用场景上优化对象的使用效率。
• 服务器在执行某些命令之前，会先检查结定键的类型能否执行指定的命令，而检查
  一个键的类型就是检查键的值对象的类型。
• Redis 的对象系统带有引用计数实现的内存回收机制，当一个对象不再被使用时，该对象所占用的内存就会被自动释放。
• Redis 会默认共享值为0 到9999 的字符串对象，从第一次使用，refcount就为 2。
• 对象会记录自己的最后一次被访问的时间，这个时间可以用于计算对象的空转时间。