Redis 底层数据结构

Redis 使用键值对存储数据，其中包括 5 种数据类型，即字符串、哈希、列表、集合、有序集合，它们是对外提供的，实际上在redis内部每种类型都有2种或更多的内部编码实现

简单动态字符串

Redis没有直接使用C字符串（即以空字符串’\0’结尾的字符数组）作为默认的字符串标识，而是自己构建的SDS（Simple Dynamic String简单动态字符串）作为默认字符串
SDS 定义：

struct sdshdr{ 
//记录buf数组中已使用字节的数量 
//等于 SDS 保存字符串的长度 
int len; 
//记录 buf 数组中未使用字节的数量 
int free; 
//字节数组，用于保存字符串 
char buf[]; 
}

buf数组的长度=free+len+1
SDS 在 C 字符串的基础上加入了 free 和 len 字段，带来了很多好处：
获取字符串长度：C 字符串需要去遍历是 O(n），SDS 是 O(1)
缓冲区溢出：使用 C 字符串的 API 时，如果字符串长度增加（如 strcat 操作）而忘记重新分配内存，很容易造成缓冲区的溢出。而 SDS 由于记录了长度，相应的 API 在可能造成缓冲区溢出时会自动重新分配内存，杜绝了缓冲区溢出。
修改字符串时内存的重分配：对于 C 字符串，如果要修改字符串，必须要重新分配内存（先释放再申请），因为如果没有重新分配，字符串长度增大时会造成内存缓冲区溢出，字符串长度减小时会造成内存泄露。而对于 SDS，由于可以记录 len 和 free，因此解除了字符串长度和空间数组长度之间的关联，可以在此基础上进行优化
存取二进制数据：SDS 可以，C 字符串不可以。因为 C 字符串以空字符作为字符串结束的标识，而对于一些二进制文件（如图片等）内容可能包括空字符串，因此 C 字符串无法正确存取；而 SDS 以字符串长度 len 来作为字符串结束标识，因此没有这个问题
此外，由于 SDS 中的 buf 仍然使用了 C 字符串（即以’\0’结尾），因此 SDS 可以使用 C 字符串库中的部分函数，但是需要注意的是，只有当 SDS 用来存储文本数据时才可以这样使用，在存储二进制数据时则不行（’\0’不一定是结尾）

链表

链表在Redis中的应用非常广泛，列表(List)的底层实现之一就是双向链表。此外发布与订阅、慢查询、监视器等功能也用到了链表。

typedef struct listNode { 
//前置节点 
struct listNode *prev; 
//后置节点 
struct listNode *next; 
//节点的值 
void *value; 
}
listNode typedef struct list { 
//表头节点 
listNode.head; 
//表尾节点 
listNode.tail; 
//链表所包含的节点数量 
unsigned long len; 
//节点值复制函数 
void *(*dup)(void *ptr); 
//节点值释放函数 
void *(*free)(void *ptr); 
//节点值对比函数 
int (*match)(void *ptr,void *key); } list;

Redis链表优势：
①、双向：链表具有前置节点和后置节点的引用，获取这两个节点时间复杂度都为O(1)
②、无环：表头节点的 prev 指针和表尾节点的 next 指针都指向 NULL,对链表的访问都是以 NULL结束
③、带链表长度计数器：通过 len 属性获取链表长度的时间复杂度为 O(1)
④、多态：链表节点使用 void* 指针来保存节点值，可以保存各种不同类型的值

字典

字典又称为符号表或关联数组、或映射（map），是一种用于保存键值对的抽象数据结构
字典中的每一个key都是唯一的，通过key可以对值来进行查找或修改
Redis的字典采用哈希表作为底层实现

typedef struct dictht{
	//哈希表数组
	dictEntry **table;
	//哈希表大小 
	unsigned long size; 
	//哈希表大小掩码，用于计算索引值 总是等于 size-1 
	unsigned long sizemask;
	//该哈希表已有节点的数量 
	unsigned long used;
}dictht
/*哈希表是由数组 table 组成，table 中每个元素都是指向 dict.h/dictEntry 结构， dictEntry 结构定义如下： */
typedef struct dictEntry{ 
//键 
void *key; 
	//值 
	union{
	void *val; 
	uint64_tu64; 
	int64_ts64; 
	}v; 
	//指向下一个哈希表节点，形成链表 
	struct dictEntry *next; 
}dictEntry

跳跃表

普通单链表查询一个元素的时间复杂度为O(n)，即使该单链表是有序的

①、搜索：从最高层的链表结构开始，如果比当前节点要大和比当前层的下一个节点要小，那么则往下找，也就是和当前层的下一层的节点的下一个节点进行比较，以此类推，一直找到最底层的最后一个节点，如果找到则返回，反之则返回空
②、插入：首先确定插入的层数，有一种方法时假设抛一枚硬币，如果正面就累加，指导遇见反面为止，最后记录正面的次数作为插入的层数。当确定插入的层数k后，则需要将新元素插入到从底层到k层位置，其中最理想的状态就是一正一反
③、删除：和普通的链表删除相似，在各个层中找到指定节点，从当前层的链表中删除，如果删除后只剩头尾两个节点，则删除这一层
关于跳跃表实现和其他了解更深入参考跳跃表的原理与实现

整数集合

整数集合intset是集合set的底层实现之一，当一个集合只包含整数值元素，并且这个集合的元素不多时，redis就会使用整数集合作为该集合的底层实现。整数集合是redis用于保存整数值的集合抽象数据类型，它可以保存类型为int16_t、int32_t 或者int64_t 的整数值，并且保证集合中不会出现重复元素

typedef struct intset{ 
	//编码方式 
	uint32_t encoding; 
	//集合包含的元素数量 
	uint32_t length; 
	//保存元素的数组 
	int8_t contents[]; 
}intset;

压缩列表

压缩列表（ziplist）是列表键和哈希键的底层实现之一。当一个列表只包含少量列表项时，并且每个列表项是小整数值或短字符串，那么redis就会使用压缩列表作为该列表的实现
压缩列表（ziplist）是Redis为了节省内存而开发的，是由一系列特殊编码的连续内存块组成的顺序型数据结构，一个压缩列表可以包含任意多个节点（entry），每个节点可以保存一个字节数组或者一个整
数值。
放到一个连续内存区

previous_entry_ength： 记录压缩列表前一个字节的长度。
encoding：节点的encoding保存的是节点的content的内容类型
content：content区域用于保存节点的内容，节点内容类型和长度由encoding决定

对象

Redis不是用这些数据结构直接实现Redis的键值对数据库，而是基于
这些数据结构创建了一个对象系统。包含字符串对象，列表对象，哈希对象，集合对象和有序集合对象。根据对象的类型可以判断一个对象是否可以执行给定的命令，也可针对不同的使用场景，对象设置有多种不同的数据结构实现，从而优化对象在不同场景下的使用效率。
Redis中的每个对象都是由如下结构表示（列出了与保存数据有关的三个属性）

typedef struct redisObject { 
unsigned type:4;//类型 五种对象类型 
unsigned encoding:4;//编码 
void *ptr;//指向底层实现数据结构的指针 
//... 
int refcount;//引用计数 
//... 
unsigned lru:22;//记录最后一次被命令程序访问的时间 
//... 
}robj;

type
type 字段表示对象的类型，占 4 个比特；目前包REDIS_STRING(字符串)、REDIS_LIST (列表)、REDIS_HASH(哈希)、REDIS_SET(集合)、REDIS_ZSET(有序集合)。
当我们执行 type 命令时，便是通过读取 RedisObject 的 type 字段获得对象的类型，如下所示：

encoding
encoding 表示对象的内部编码，占 4 个比特。对于 Redis 支持的每种类型，都有至少两种内部编码，例如对于字符串，有 intembstr、raw 三种编码。
通过 encoding 属性，Redis 可以根据不同的使用场景来为对象设置不同的编码，大大提高了 Redis 的灵活性和效率。
以列表对象为例，有压缩列表和双端链表两种编码方式；如果列表中的元素较少，Redis 倾向于使用压缩列表进行存储，因为压缩列表占用内存更少，而且比双端链表可以更快载入。
当列表对象元素较多时，压缩列表就会转化为更适合存储大量元素的双端链表。
通过 object encoding 命令，可以查看对象采用的编码方式，如下所示：

lru
lru 记录的是对象最后一次被命令程序访问的时间，占据的比特数不同的版本有所不同
通过对比 lru 时间与当前时间，可以计算某个对象的空转时间；object idletime 命令可以显示该空转时间（单位是秒）。object idletime 命令的一个特殊之处在于它不改变对象的 lru 值
lru 值除了通过 object idletime 命令打印之外，还与 Redis 的内存回收有关系：如果 Redis 打开了 maxmemory 选项，且内存回收算法选择的是 volatile-lru 或 allkeys—lru，那么当
Redis 内存占用超过 maxmemory 指定的值时，Redis 会优先选择空转时间最长的对象进行释放
refcount
refcount 与共享对象：refcount 记录的是该对象被引用的次数，类型为整型。refcount 的作用，主要在于对象的引用计数和内存回收
当创建新对象时，refcount 初始化为 1；当有新程序使用该对象时，refcount 加 1；当对象不再被一个新程序使用时，refcount 减 1；当 refcount 变为 0 时，对象占用的内存会被释放
Redis 中被多次使用的对象(refcount>1)，称为共享对象。Redis 为了节省内存，当有一些对象重复出现时，新的程序不会创建新的对象，而是仍然使用原来的对象
这个被重复使用的对象，就是共享对象。目前共享对象仅支持整数值的字符串对象
共享对象的引用次数可以通过 object refcount 命令查看，如下所示。命令执行的结果页佐证了只有0~9999 之间的整数会作为共享对象

ptr
ptr 指针指向具体的数据，比如：set hello world，ptr 指向包含字符串 world 的 SDS

综上所述，RedisObject 的结构与对象类型、编码、内存回收、共享对象都有关系。