Redis设计与实现读书笔记---数据结构和对象

简单的动态字符串

简单动态字符串（simple dynamic string）SDS

struct sdshdr{
    int len;//记录buf数组中已使用字节的数量，等于SDS所保存字符串的长度
    int free;//记录buf数组中未使用字节的数量
    char buf[];//字节数组，用于保存字符串
}

C字符串	SDS
以空字符’\0’结尾	以空字符’\0’结尾
无缓存空间	有缓存空间（动态扩容）
无记录长度的属性	有记录长度的属性

SDS的优点：

1. 常数复杂度获取字符串长度（通过len属性）；

2. 杜绝缓冲区溢出（C字符串进行字符串拷贝时，如果分配的空间不足会导致数据溢出）；

3. 减少修改字符串时带来的内存重分配次数；

   1. 空间预分配策略；（sds申请空间时，不仅会申请使用的空间，还会申请未使用的空间）

      当申请的空间（len的值）长度小于1MB，分配的未使用空间等于使用的空间；

      当SDS的长度大于等于1MB，程序会分配1MB的未使用空间；

   2. 惰性空间释放；（当SDS的API需要缩短SDS保存的字符串时，程序不会马上释放空间，而是使用free属性将这些字节的数量记录起来）

4. 二进制安全；

链表

链表提供高效的节点重排能力，以及顺序性的节点访问方式，并且可以通过增删节点来灵活地调整链表的长度。

当一个列表键包含了数量比较多的元素，又或者列表中包含的元素都是比较长的字符串，Redis就会使用链表作为列表键的底层实现；

typedef struct listNode{
	//前置节点
    struct listNode *prev;
    //后置节点
    struct listNode *next;
    //节点的值
    void *value;
}

typedef struct list{
	//表头节点
    listNode *head;
    //表尾节点
    listNode *tail;    
    //链表所包含的节点数量
    unsigned long len;
    //节点值复制函数
    void*(*dup)(void *ptr);
    //节点值释放函数
    void*(*free)(void *ptr);    
    //节点值对比函数
    int (*match)(void *ptr,void *key);
}

字典

字典，又称为符号表（symbol table）、关联数组（associative array）或者映射（map），是一种用于保存键值对（key-value pair）的抽象数据结构。

数据结构

typedef struct dictht{
	//哈希表数组
	dictEntry **table;
    //哈希表大小
	unsigned long size;    
    //哈希表大小掩码，用于计算索引值
    //总等于size-1
	unsigned long sizemask;
    //该哈希表已有节点的数量
	unsigned long used;
}dictht

哈希表节点

typedef struct dictEntry{
	//键
	void *key;
    //值
    union{
    	void *val;
    	unit64_tu64;
    	int64_ts64;
    }v;
    //指向下个哈希表节点，形成链表
    struct dictEntry *next;
}dictEntry;

字典

typedef struct dict{
	//类型特定函数
	dictType *type;
    //私有数据
    void *privdata;
    //哈希表
    dictht ht[2];
    //rehash索引
    //当rehash不在进行时，值为-1
    int trehashidx; /*rehashing not in progress if rehashidx ==-1 */
}dict;

键冲突

当有两个或以上数量的键被分配到哈希表数组的同一个索引上面时，引发键冲突。Redis的哈希表使用链地址法（separate chaining）来解决键冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成一个单向链表，被分配到同一个索引上的多个节点可以用这个单向链表连接起来。

REHASH

当哈希表中的数据量增加到一定阈值，或者减少到一定阈值的时候，为了达到高效利用物理空间的的目的，哈希表会进行相应的扩张或收缩；

例子

字典中包含一个哈希表h0，当h0的容量达到阈值的时候，需要进行扩张或者收缩，字典会新开辟一个空间挂载一个新的哈希表h1，h1的大小是基于h0的大小计算得出，h1的大小为h0的使用空间乘以2，然后对结果向上取整使得恰好为2的n次方。

哈希表的扩展

1. 服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1；
2. 服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于5；

哈希表的负载因子计算公式：

load_factor=h0.used/h0.size

渐进式rehash

当数据量比较大，为保证服务正常运行，哈希表扩容的时候不是一蹴而就，而是使用哪部分就将那部分迁移。例如：h0上的某个键变更，rehash时，会将该键重新hash到h1上，然后再删除原理h0上的键。

跳跃表

跳跃表（skiplist）是一种有序数据结构，通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的；

跳跃表支持平均O（logN）、最坏O（N）复杂度的节点查找，还可以通过顺序性操作来批量处理节点。

跳跃表节点

typedef struct zskiplistNode{
	//层
    struct zskiplistLevel{
        //前进指针
        struct zskiplistNode *forrwar;
        //跨度
        unsigned int span;
    }level[];
    //后退指针
    struct zskiplistNode *backward;
    //分值
    double score;
    //成员对象
    robj *obj;
}zskiplistNode；

level数组中记录通向下一个节点的信息，不同的层级绑定不同的节点。

跳跃表

typedef struct zskiplist{
	//表头节点和表尾节点
    struct skiplistNode *header,*tail;
    //表中节点的数量
    unsigned long length;
    //表中层数最大的节点的层数
    int level;
}zskiplist；

整数集合

当一个集合只宝航整数值元素，并且这个集合的元素数量不多时，Redis就会使用整数集合作为集合键的底层实现。

整数集合（intset）是Redis用于保存整数值的集合抽象数据结构，它可以保存类型为int16_t、int32_t或者int64_t的整数值，并且保证集合中不会出现重复元素。

typedef struct intset{
	//编码方式
    uint32_t encoding;
    //集合包含的元素数量
    uint32_t length;
    //保存元素的数组
    int8_t contents[];
}intset;

升级

当将一个新的元素添加到整数集合里面，并且新元素的类型比整数结合现在所有元素的类型都要长时，集合需要先进行升级，然后才能将新元素添加到整数集合中。

升级整数集合的三个步骤：

1. 根据新元素类型，扩展整数集合底层数组的空间大小，为新元素分配空间；
2. 将底层数组的所有元素转换成与新元素相同的类型，并且转换后的元素顺序与原来的顺序一致。
3. 将新元素添加到底层数组里面。

整数集合不支持降级操作（应该是降级时需要对所有的元素进行大小判断比较耗性能）

压缩列表

压缩列表（ziplist）是列表键和哈希键的底层实现之一。

当一个列表键只包含少量列表项，并且列表项为小整数值或长度比较短的字符串，那么Redis就会使用压缩列表来做列表键的底层实现。

当一个哈希键只包含少量键值对，并且每个键值对的键和值都是小整数值，或者长度较短的字符串，那么Redis会使用压缩列表来做哈希键的底层实现。

压缩列表的构成

压缩列表由一系列特殊编码的连续内存块组成的顺序型数据结构

记录整个压缩列表占用内存字节数	记录表尾节点与起始地址之间的字节数	记录节点数量	节点	节点		节点	特殊值标记压缩列表末端
zlbytes	zltail	zllen	entry1	entry2	…	entryN	zlend

对象

Redis基于数据结构创建一个对象系统，系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象。

Redis对象系统实现基于引用计数技术的内存回收机制。当程序不再使用某个对象时，对象所占用的内存会被自动释放；Redis还通过引用计数技术实现对象共享机制，通过让多个数据库键共享同一对象来节约内存。

对象类型与编码

Redis的数据库中创建一个键值对时，至少会创建两个对象，一个对象用作键值对的键，一个对象用作键值对的值。

对象的结构

typedef struct redisObject{
	//类型
	unsigned type:4;
	//编码
	unsigned encoding:4;
	//指向底层实现数据结构的指针
	void *ptr;
	//....
}robj;

类型

对象的type属性记录对象的类型

类型常量	对象名称
REDIS_STRING	字符串对象
REDIS_LIST	列表对象
REDIS_HASH	哈希对象
REDIS_SET	集合对象
REDIS_ZSET	有序集合对象

1. 数据库键所对应的值为字符串对象

编码和底层实现

encoding属性记录对象所使用的编码，根据encoding属性，使用ptr指针指向具体的数据结构

编码常量	编码对应的数据结构
REDIS_ENCODING_INT	long类型的整数
REDIS_ENCODING_EMBSTR	embstr编码的简单动态字符串
REDIS_ENCODING_RAW	简单动态字符串
REDIS_ENCODING_HT	字典
REDIS_ENCODING_LINKEDLIST	双端链表
REDIS_ENCODING_ZIPLIST	压缩列表
REDIS_ENCODING_INTSET	整数集合
REDIS_ENCODING_SKIPLIST	跳跃表和字典

不同类型和编码的对象

类型	编码	对象
REDIS_STRING	REDIS_ENCODING_INT	使用整数值实现的字符串对象
REDIS_STRING	REDIS_ENCODING_EMBSTR	使用embstr编码的简单动态字符串实现的字符串对象
REDIS_STRING	REDIS_ENCODING_RAW	使用简单动态字符串实现的字符串对象
REDIS_LIST	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的列表对象
REDIS_LIST	REDIS_ENCODING_LINKEDLIST	使用双端链表实现的列表对象
REDIS_HASH	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的哈希对象
REDIS_HASH	REDIS_ENCODING_HT	使用字典实现的哈希对象
REDIS_SET	REDIS_ENCODING_INTSET	使用整型集合实现的集合对象
REDIS_SET	REDIS_ENCODING_HT	使用字典实现的集合对象
REDIS_ZSET	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的有序集合对象
REDIS_ZSET	REDIS_ENCODING_SKIPLIST	使用跳跃表和字典实现的有序集合对象

操作键的命令分类

适合所有键的命令：DEL命令、EXPIRE命令、RENAME命令、TYPE命令、OBJECT命令；

适合特定类型的键的命令：

1. SET、GET、APPEND、STRLEN等命令只能对字符串键执行；
2. HDEL、HSET、HGET、HLEN等命令只能对哈希键执行；
3. RPUSH、LPOP、LINSERT、LLEN等命令只能对列表键执行；
4. SADD、SPOP、SINTER、SCARD等命令只能对集合键执行；
5. ZADD、ZCARD、ZRANK、ZSCORE等命令只能对有序集合键执行；

内存回收

Redis在对象系统中，构建引用计数（reference counting）技术实现内存回收机制，通过此机制跟踪对象的引用计数信息，在适当的时候自动释放对象，并进行内存回收。

对象共享机制

为节省内存，Redis会在初始化服务器的时候，创建一万个字符串对象，这些对象包含从0到9999的所有整数值，当服务器需要用到值为0到9999的字符串对象时，服务器就会使用共享对象，而非创建新的对象。

查看对象的引用计数：OBJECT REFCOUNT A

对象的空转时长

该属性记录对象最后一次被命令程序访问的时间

typedef struct redisObject{
	//.......
	unsigned lru:22;
	//.......
}robj

查看对象的空转时长：OBJECT IDLETIME msg