浅析redis五种对象的底层数据结构

对象的类型与编码

Redis中的每个对象都由一个redisobject结构表示，该结构中和保存数据有关的三个属性分别是type属性、encoding属性和ptr属性

1. 类型

// 查询msg键对应值对应值对象的类型
type msg

2. 编码和底层实现
   
   

// 查看一个数据库键的值对象的编码
object encoding msg

通过encoding属性来设定对象所使用的编码，而不是为特定类型的对象关联一种固定的编码，极大地提升了Redis的灵活性和效率，因为Redis可以根据不同的使用场景来为一个对象设置不同的编码，从而优化对象在某一场景下的效率。

字符串对象

字符串对象的编码可以是int, raw或者embstr

• 如果一个字符串对象保存的是一个整数值, 并且这个整数值可以用long类型表示, 编码就会使用int
• 如果一个字符串对象保存的是一个字符串, 并且长度小于等于32字节, 编码就会使用embstr
• 如果一个字符串对象保存的是一个字符串, 并且长度大于32字节, 编码就会使用raw, 数据结构为简单动态字符串(sds)

相比于raw编码, embstr编码的好处:

• 内存分配次数从raw编码的两次降为一次
• 只需调用一次内存释放函数, raw编码的是两次
• 因为embstr编码的字符串对象的所有数据都保存在一块连续的内存里面, 所以性能更高

可以用long double 类型表示的浮点数在redis中也是作为字符串保存的

1. 编码的转换

• 对于int编码的字符串对象来说，如果我们向对象执行了一些命令，使得这个对象保存的不再是整数值，而是一个字符串值，那么字符串对象的编码将从int变为raw.
• 因为Redis没有为embstr编码的字符串对象编写任何相应的修改程序(只有int编码的字符串对象和raw编码的字符串对象有这些程序)，所以embstr编码的字符串对象实际上是只读的。当我们对embstr编码的字符串对象执行任何修改命令时，程序会先将对象的编码从embstr转换成raw，然后再执行修改命令。因为这个原因，embstr编码的字符串对象在执行修改命令之后，总会变成一个raw编码的字符串对象。

列表对象

列表对象的编码可以是ziplist或者是linkedlist

• ziplist编码的列表对象使用压缩列表作为底层实现, 每个压缩列表节点保存了一个列表元素
• linkedlist编码的列表对象使用双端链表作为底层实现, 每个双端列表节点都保存了一个字符串对象

1. 编码转换

当列表对象可以同时满足以下两个条件时, 列表对象使用ziplist编码:

• 所有字符串的长度都小于64字节, 可通过list-max-ziplist-value选项修改
• 元素的数量小于512个, list-max-ziplist-entries选项

哈希对象

哈希对象的编码可以是Ziplist或者是hashtable

• ziplist编码的哈希对象使用压缩列表作为底层实现
  每当有新的键值对要加入到哈希对象时，程序会先将保存了键的压缩列表节点推入到压缩列表表尾，然后再将保存了值的压缩列表节点推入到压缩列表表尾
• hashtable编码的哈希对象使用字典作为底层实现，哈希对象中的每个键值对都使用一个字典键值对来保存。

1. 编码转换

当哈希对象可以同时满足以下两个条件时，哈希对象使用ziplist编码:

• 哈希对象保存的所有键值对的键和值的字符串长度都小于64字节， hash-max-ziplist-value 选项;
• 哈希对象保存的键值对数量小于512个，hash-max-ziplist-entries 选项;

集合对象

集合对象的编码可以是intset或者hashtable

• intset编码的集合对象使用整数集合作为底层实现，集合对象包含的所有元素都被保存在整数集合里面。
• hashtable编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象，每个字符串对象包含了一个集合元素，而字典的值则全部被设置为NULL。

1. 编码的转换

当集合对象可以同时满足以下两个条件时，对象使用intset编码:

• 集合对象保存的所有元素都是整数值;
• 集合对象保存的元素数量不超过512个， set-max-intset-entries选项。

有序集合对象

有序集合的编码可以是ziplist或者skiplist

• ziplist编码的压缩列表对象使用压缩列表作为底层实现，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素的成员(member)，而第二个元素则保存元素的分值(score)。
• skiplist编码的有序集合对象使用zset结构作为底层实现，一个zset结构同时包含一个字典和一个跳跃表
  zset结构中的zsl跳跃表按分值从小到大保存了所有集合元素，每个跳跃表节点都保存了一个集合元素: 跳跃表节点的object属性保存了元素的成员，而跳跃表节点的score属性则保存了元素的分值。
  通过这个跳跃表，程序可以对有序集合进行范围型操作，比如ZRANK、ZRANGE等命令就是基于跳跃表API来实现的。
  除此之外，zset结构中的dict字典为有序集合创建了一个从成员到分值的映射，字典中的每个键值对都保存了一个集合元素: 字典的键保存了元素的成员，而字典的值则保存了元素的分值。
  通过这个字典，程序可以用O(1)复杂度查找给定成员的分值，ZSCORE命令就是根据这一特性实现的，而很多其他有序集合命令都在实现的内部用到了这一特性。
  值得一提的是，虽然zset结构同时使用跳跃表和字典来保存有序集合元素，但这两种数据结构都会通过指针来共享相同元素的成员和分值，所以同时使用跳跃表和字典来保存集合元素不会产生任何重复成员或者分值，也不会因此而浪费额外的内存。

1. 编码的转换

当有序集合对象可以同时满足以下两个条件时，对象使用ziplist编码:

• 有序集合保存的元素数量小于128个， zset-max-ziplist-entries选项;
• 有序集合保存的所有元素成员的长度都小于64字节， zset-max-ziplist-value选项;

类型检查与命令多态

redis中用于操作键的命令基本上可以分为两种类型.

• 其中一种命令可以对任何类型的键执行, 比如说del命令, expire命令, rename命令, type命令, object命令.
• 而另一种命令只能对特定类型的键执行，比如说:
  SET、GET、APPEND、STRLEN等命令只能对字符串键执行﹔
  HDEL、HSET、HGET、HLEN等命令只能对哈希键执行﹔
  RPUSH、LPOP、LINSERT、LLEN等命令只能对列表键执行;
  SADD、SPoP、SINTER、SCARD等命令只能对集合键执行;
  ZADD、ZCARD、ZRANK、ZSCORE等命令只能对有序集合键执行;

1. 类型检查的实现
   类型特定命令所进行的类型检查是通过redisObject结构的type属性来实现的
   服务器在执行某些命令之前，会先检查给定键的类型能否执行指定的命令，而检查一个键的类型就是检查键的值对象的类型。
2. 多态命令的实现
   Redis除了会根据值对象的类型来判断键是否能够执行指定命令之外，还会根据值对象的编码方式，选择正确的命令实现代码来执行命令。
   DEL、EXPIRE等命令和LLEN等命令的区别在于，前者是基于类型的多态(一个命令可以同时用于处理多种不同类型的键)，而后者是基于编码的多态(一个命令可以同时用于处理多种不同编码)。

内存回收

• 每个对象的引用计数信息由redisobject结构的refcount属性记录:
• 对象的整个生命周期可以划分为创建对象、操作对象、释放对象三个阶段。

对象共享

• 除了用于实现引用计数内存回收机制之外，对象的引用计数属性还带有对象共享的作用。
• 共享对象机制对于节约内存非常有帮助，数据库中保存的相同值对象越多，对象共享机制就能节约越多的内存。
• 在Redis 中，让多个键共享同一个值对象需要执行以下两个步骤:
  1）将数据库键的值指针指向一个现有的值对象;
  2）将被共享的值对象的引用计数增一。
• 目前来说，Redis会在初始化服务器时，创建一万个字符串对象，这些对象包含了从0到9999的所有整数值，当服务器需要用到值为0到9999的字符串对象时，服务器就会使用这些共享对象，而不是新创建对象。
• 创建共享字符串对象的数量可以通过修改redis.h/REDIS_SHARED_INTEGERS常量来修改。
• 尽管共享更复杂的对象可以节约更多的内存，但受到CPU时间的限制，Redis只对包含整数值的字符串对象进行共享。

对象的空转时长

除了前面介绍过的type、encoding、ptr和refcount四个属性之外，redisobject结构包含的最后一个属性为lru属性，该属性记录了对象最后一次被命令程序访问的时间.

• OBJECT IDLETIME命令可以打印出给定键的空转时长，这一空转时长就是通过将当前时间减去键的值对象的lru时间计算得出的.
• OBJECT IDLETIME命令的实现是特殊的，这个命令在访问键的值对象时，不会修改值对象的lru属性。
• 除了可以被OBJECT IDLETIME命令打印出来之外，键的空转时长还有另外一项作用: 如果服务器打开了maxmemory选项，并且服务器用于回收内存的算法为volatile-lru或者allkeys-lru，那么当服务器占用的内存数超过了maxmemory选项所设置的上限值时，空转时长较高的那部分键会优先被服务器释放，从而回收内存。