Redis数据结构——动态字符串、Dict、ZipList

一、Redis数据结构-动态字符串

我们都知道Redis中保存的Key是字符串，value往往是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。

不过Redis没有直接使用C语言中的字符串，因为C语言字符串存在很多问题：

• 获取字符串长度的需要通过运算。
• 非二进制安全。
• 不可修改。

Redis构建了一种新的字符串结构，称为简单动态字符串（Simple Dynamic String），简称SDS。
例如，我们执行命令：

那么Redis将在底层创建两个SDS，其中一个是包含“name”的SDS，另一个是包含“KEKE”的SDS。

Redis是C语言实现的，其中SDS是一个结构体，源码如下：

例如，一个包含字符串“name”的sds结构如下：

SDS之所以叫做动态字符串，是因为它具备动态扩容的能力，例如一个内容为“hi”的SDS：

假如我们要给SDS追加一段字符串“,Amy”，这里首先会申请新内存空间：

如果新字符串小于1M，则新空间为扩展后字符串长度的两倍+1；

如果新字符串大于1M，则新空间为扩展后字符串长度+1M+1。称为内存预分配。

优点：

• 获取字符串长度的时间复杂度为O(1)。
• 支持动态扩容。
• 减少内存分配次数。
• 二进制安全。

Redis数据结构-intset

IntSet是Redis中set集合的一种实现方式，基于整数数组来实现，并且具备长度可变、有序等特征。
结构如下：

其中的encoding包含三种模式，表示存储的整数大小不同：

现在，数组中每个数字都在int16_t的范围内，因此采用的编码方式是INTSET_ENC_INT16，每部分占用的字节大小为：
encoding：4字节
length：4字节
contents：2字节 * 3 = 6字节

我们向该其中添加一个数字：50000，这个数字超出了int16_t的范围，intset会自动升级编码方式到合适的大小。
以当前案例来说流程如下：

• 升级编码为INTSET_ENC_INT32, 每个整数占4字节，并按照新的编码方式及元素个数扩容数组。
• 倒序依次将数组中的元素拷贝到扩容后的正确位置。
• 将待添加的元素放入数组末尾。
• 最后，将inset的encoding属性改为INTSET_ENC_INT32，将length属性改为4。

源码如下：

intset *intsetAdd(intset *is, int64_t value, uint8_t *success){
	uint8_t valenc = _intsetValueEncoding(value);//获取当前值编码
    uint32_t pos;//要插入的位置
	if (success) *success = 1;
    //判断编码是不是超过了当前intset的编码
    if (valenc > intrev32ifbe(is->encoding)){//超出编码，需要升级
    	return intsetUpgradeAndAdd(is,value);
    } else {
    //在当前intset中查找值与value—样的元素的角标pos
        if (intsetSearch(is,value,&pos)) {
          if (success)*success = O;//如果找到了，则无需插入，直接结束并返回失败return is;
    }
    //数组扩容
    is = intsetResize(is,intrev32ifbe(is->length)+1);
    //移动数组中pos之后的元素到pos+1，给新元素腾出空间
    if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
    }
    //插入新元素
    _intsetSet(is,pos,value);/重置元素长度
    is->length = intrev32ifbe(intrev32ifbe(is->length)+ 1);
    return is;
}

static intset *intsetUpgradeAndAdd(intset *is, int64_t value){//获取当前intset编码
    uint8_t curenc = intrev32ifbe(is->encoding);//获取新编码
    uint8_t newenc = _intsetValueEncoding(value);//获取元素个数
    int length = intrev32ifbe(is->length);
    //判断新元素是大于0还是小于0，小于0插入队首、大于0插入队尾
    int prepend = value < 0 ? 1 : 0;
    //重置编码为新编码
    is->encoding = intrev32ifbe(newenc);
    //重置数组大小
    is = intsetResize(is,intrev32ifbe(is->length)+1);
    //倒序遍历，逐个搬运元素到新的位置,_intsetGetEncoded按照旧编码方式查找旧元素
    while(length--) // _intsetSet按照新编码方式插入新元素
    	intsetSet(is,length+prepend, _intsetGetEncoded(is,length,curenc));
    //插入新元素，prepend决定是队首还是队尾
    if (prepend)
    	_intsetSet(is,0,value);
    else
    	_intsetSet(is,intrev32ifbe(is->length),value);
    //修改数组长度
    is- >length = intrev32ifbe(intrev32ifbe(is->length)+ 1);
    return is;
}

小总结：

Intset可以看做是特殊的整数数组，具备一些特点：

• Redis会确保Intset中的元素唯一、有序。
• 具备类型升级机制，可以节省内存空间。
• 底层采用二分查找方式来查询。

二、 Redis数据结构-Dict

我们知道Redis是一个键值型（Key-Value Pair）的数据库，我们可以根据键实现快速的增删改查。而键与值的映射关系正是通过Dict来实现的。
Dict由三部分组成，分别是：哈希表（DictHashTable）、哈希节点（DictEntry）、字典（Dict）。

typedef struct dictht {
    // entry数组
	//数组中保存的是指向entry的指针
    dictEntry **table;
	//哈希表大小
	unsigned long size;
	//哈希表大小的掩码，总等于size - 1
    unsigned long sizemask;
	// entry个数
	unsigned long used;
} dictht;


typedef struct dictEntry {
    void *key;//键
	union {
		void *val;
        uint64_t u64;
        int64_t s64;
        double d;
    } v;//值
	//下一个Entry的指针
    struct dictEntry *next;
} dictEntry;

当我们向Dict添加键值对时，Redis首先根据key计算出hash值（h），然后利用 h & sizemask来计算元素应该存储到数组中的哪个索引位置。我们存储k1=v1，假设k1的哈希值h =1，则1&3 =1，因此k1=v1要存储到数组角标1位置。

Dict由三部分组成，分别是：哈希表（DictHashTable）、哈希节点（DictEntry）、字典（Dict）。

typedef struct dict {
    dictType *type; // dict类型，内置不同的hash函数
    void *privdata;//私有数据，在做特殊hash运算时用
    dictht ht[2];//一个Dict包含两个哈希表，其中一个是当前数据，另一个一般是空,rehash时使用
    long rehashidx; // rehash的进度，-1表示未进行
    int16_t pauserehash; // rehash是否暂停，1则暂停，0则继续
} dict;

typedef struct dictht {// entry数组
    //数组中保存的是指向entry的指针
    dictEntry **table;
    //哈希表大小
    unsigned long size;
    //哈希表大小的掩码，总等于size - 1
    unsigned long sizemask;
    // entry个数
    unsigned long used;
}dictht;

typedef struct dictEntry {
    void *key;//键
		union {
			void *val;
            uint64_t u64;
            int64_t s64;
            double d;
        } v;//值
	//下一个Entry的指针
    struct dictEntry *next;
}dictEntry;

typedef struct dict {
    dictType *type; // dict类型，内置不同的hash函数
    void *privdata;//私有数据，在做特殊hash运算时用
    dictht ht[2];//一个Dict包含两个哈希表，其中一个是当前数据，另一个一般是空，rehash时使用
    long rehashidx; // rehash的进度，-1表示未进行
    int16_t pauserehash; // rehash是否暂停，1则暂停，O则继续
} dict;

Dict的扩容

Dict中的HashTable就是数组结合单向链表的实现，当集合中元素较多时，必然导致哈希冲突增多，链表过长，则查询效率会大大降低。
Dict在每次新增键值对时都会检查负载因子（LoadFactor = used/size） ，满足以下两种情况时会触发哈希表扩容：
哈希表的 LoadFactor >= 1，并且服务器没有执行 BGSAVE 或者 BGREWRITEAOF 等后台进程；
哈希表的 LoadFactor > 5 ；

static int dictExpandlfNeeded(dict*d){
    //如果正在rehash，则返回ok
    if (dictlsRehashing(d)) return DICT_OK;
    //如果哈希表为空，则初始化哈希表为默认大小:4
    if (d->ht[0].size == 0) return dictExpand(d, DICT_HT_INITIAL_SIZE);
    //当负载因子(used/size)达到1以上，并且当前没有进行bgrewrite等子进程操作
    //或者负载因子超过5，则进行dictExpand ，也就是扩容
    if (d->ht[0].used >= d->ht[0].size &i&
    (dict_can_resize || d->ht[0].used/d->ht[0].size > dict_force_resize_ratio){
    //扩容大小为used + 1，底层会对扩容大小做判断，实际上找的是第一个大于等于used+1的2^n
        return dictExpand(d, d->ht[0].used + 1);
    }
    return DICT_OK;
}

// t_hash.c # hashTypeDeleted()
//……
if (dictDelete((dict*)o->ptr, field) == C_OK){
    deleted = 1;
	//删除成功后，检查是否需要重置Dict大小，如果需要则调用dictResize重置
    /*Always check if the dictionary needs a resize after a delete.*/
	if (htNeedsResize(o->ptr)) dictResize(o->ptr);
}
……

// server.c文件
int htNeedsResize(dict *dict) {
    long long size, used;
    //哈希表大小
    size = dictSlots(dict);
    // entry数量
    used = dictSize(dict);
    // size > 4(哈希表初识大小)并且负载因子低于0.1
    return (size > DICT_HT_INITIAL_SIZE && (used*100/size <HASHTABLE_MIN_FILL));
}
        
int dictResize(dict *d){
    unsigned long minimal;
    //如果正在做bgsave或bgrewriteof或rehash，则返回错误
    if (!dict_can_resize |l dictlsRehashing(d))
        return DICT_ERR;
    //获取used，也就是entry个数
    minimal = d->ht[0].used;//如果used小于4，则重置为4
    if (minimal < DICT_HT_INITIAL_SIZE)
        minimal = DICT_HT_INITIAL_SIZE;
    //重置大小为minimal，其实是第一个大于等于minimal的2^n
    return dictExpand(d, minimal);
}

Dict的rehash

不管是扩容还是收缩，必定会创建新的哈希表，导致哈希表的size和sizemask变化，而key的查询与sizemask有关。因此必须对哈希表中的每一个key重新计算索引，插入新的哈希表，这个过程称为rehash。过程是这样的：

• 计算新hash表的realeSize，值取决于当前要做的是扩容还是收缩：

  • 如果是扩容，则新size为第一个大于等于dict.ht[0].used + 1的2^n。
  • 如果是收缩，则新size为第一个大于等于dict.ht[0].used的2^n （不得小于4）。

• 按照新的realeSize申请内存空间，创建dictht，并赋值给dict.ht[1]。

• 设置dict.rehashidx = 0，标示开始rehash。

• 将dict.ht[0]中的每一个dictEntry都rehash到dict.ht[1]。

• 将dict.ht[1]赋值给dict.ht[0]，给dict.ht[1]初始化为空哈希表，释放原来的dict.ht[0]的内存。

• 将rehashidx赋值为-1，代表rehash结束。

• 在rehash过程中，新增操作，则直接写入ht[1]，查询、修改和删除则会在dict.ht[0]和dict.ht[1]依次查找并执行。这样可以确保ht[0]的数据只减不增，随着rehash最终为空。

整个过程可以描述成：

小总结：

Dict的结构：

• 类似java的HashTable，底层是数组加链表来解决哈希冲突。
• Dict包含两个哈希表，ht[0]平常用，ht[1]用来rehash。

Dict的伸缩：

• 当LoadFactor大于5或者LoadFactor大于1并且没有子进程任务时，Dict扩容。
• 当LoadFactor小于0.1时，Dict收缩。
• 扩容大小为第一个大于等于used + 1的2^n。
• 收缩大小为第一个大于等于used 的2^n。
• Dict采用渐进式rehash，每次访问Dict时执行一次rehash。
• rehash时ht[0]只减不增，新增操作只在ht[1]执行，其它操作在两个哈希表。

三、 Redis数据结构-ZipList

ZipList 是一种特殊的“双端链表” ，由一系列特殊编码的连续内存块组成。可以在任意一端进行压入/弹出操作, 并且该操作的时间复杂度为 O(1)。

属性	类型	长度	用途
zlbytes	uint32_t	4 字节	记录整个压缩列表占用的内存字节数
zltail	uint32_t	4 字节	记录压缩列表表尾节点距离压缩列表的起始地址有多少字节，通过这个偏移量，可以确定表尾节点的地址。
zllen	uint16_t	2 字节	记录了压缩列表包含的节点数量。 最大值为UINT16_MAX （65534），如果超过这个值，此处会记录为65535，但节点的真实数量需要遍历整个压缩列表才能计算得出。
entry	列表节点	不定	压缩列表包含的各个节点，节点的长度由节点保存的内容决定。
zlend	uint8_t	1 字节	特殊值 0xFF （十进制 255 ），用于标记压缩列表的末端。

ZipListEntry

ZipList 中的Entry并不像普通链表那样记录前后节点的指针，因为记录两个指针要占用16个字节，浪费内存。而是采用了下面的结构：

• previous_entry_length：前一节点的长度，占1个或5个字节。

  • 如果前一节点的长度小于254字节，则采用1个字节来保存这个长度值。
  • 如果前一节点的长度大于254字节，则采用5个字节来保存这个长度值，第一个字节为0xfe，后四个字节才是真实长度数据。

• encoding：编码属性，记录content的数据类型（字符串还是整数）以及长度，占用1个、2个或5个字节。

• contents：负责保存节点的数据，可以是字符串或整数。

ZipList中所有存储长度的数值均采用小端字节序，即低位字节在前，高位字节在后。例如：数值0x1234，采用小端字节序后实际存储值为：0x3412。

Encoding编码

ZipListEntry中的encoding编码分为字符串和整数两种：
字符串：如果encoding是以“00”、“01”或者“10”开头，则证明content是字符串。

编码	编码长度	字符串大小
|00pppppp|	1 bytes	<= 63 bytes
|01pppppp|qqqqqqqq|	2 bytes	<= 16383 bytes
|10000000|qqqqqqqq|rrrrrrrr|ssssssss|tttttttt|	5 bytes	<= 4294967295 bytes

例如，我们要保存字符串：“ab”和 “bc”。

ZipListEntry中的encoding编码分为字符串和整数两种：

• 整数：如果encoding是以“11”开始，则证明content是整数，且encoding固定只占用1个字节。

编码	编码长度	整数类型
11000000	1	int16_t（2 bytes）
11010000	1	int32_t（4 bytes）
11100000	1	int64_t（8 bytes）
11110000	1	24位有符整数(3 bytes)
11111110	1	8位有符整数(1 bytes)
1111xxxx	1	直接在xxxx位置保存数值，范围从0001~1101，减1后结果为实际值

Redis数据结构-ZipList的连锁更新问题

ZipList的每个Entry都包含previous_entry_length来记录上一个节点的大小，长度是1个或5个字节：

• 如果前一节点的长度小于254字节，则采用1个字节来保存这个长度值。
• 如果前一节点的长度大于等于254字节，则采用5个字节来保存这个长度值，第一个字节为0xfe，后四个字节才是真实长度数据。

现在，假设我们有N个连续的、长度为250~253字节之间的entry，因此entry的previous_entry_length属性用1个字节即可表示，如图所示：

ZipList这种特殊情况下产生的连续多次空间扩展操作称之为连锁更新（Cascade Update）。新增、删除都可能导致连锁更新的发生。

小总结：

ZipList特性：

• 压缩列表的可以看做一种连续内存空间的"双向链表"。
• 列表的节点之间不是通过指针连接，而是记录上一节点和本节点长度来寻址，内存占用较低。
• 如果列表数据过多，导致链表过长，可能影响查询性能。
• 增或删较大数据时有可能发生连续更新问题。