【无标题】

最新推荐文章于 2023-02-26 07:45:05 发布

weqeqwef

最新推荐文章于 2023-02-26 07:45:05 发布

阅读量272

点赞数

分类专栏： redis 文章标签： redis nosql

本文链接：https://blog.csdn.net/weqeqwef/article/details/125575980

版权

redis 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Redis数据结构

动态字符串SDS

redis中最常用的是字符串，只不过没有直接使用C语言中的字符串，因为C语言字符串存在很多问题：

获取字符串长度需要通过运算
非二进制安全（在c语言中要求不能出现特殊字符\0）
不可修改

char* s="hello"
// 本质是字符数组 :{'h','e','l','l','o','\0'}

Redis构建了一种新的字符串结构，成为简单动态字符串，简称SDS。

set name "大张伟"
## redis会在底层创建两个SDS，其中一个是保函"name"的SDS，另外一个是包含"大张伟"的SDS

动态字符串SDS

SDS是一个结构体

stuct __attribute__((__packed__)) sdshdr8{
	uint8_t len;	/* buf已保存的字符串字节数，不包含结束标识 2^8-1 255字符串*/
	uint8_t alloc;	/* buf申请的总字节数，不包含结束标识*/
	unsigned char flags; /* 不同SDS的头类型，用来控制SDS的头大小 */
	char buf[];
}

SDS之所以叫做动态字符串，是因为它具备动态扩容的能力。

当追加字符串时：

如果新字符串小于1M，则新空间为扩展后字符串长度的两倍+1；
如果新字符串大于1M，则新空间为扩展后字符串长度+1M+1。称为内存预分配。

IntSet整数集合

Inset 是Redis中set集合的一种实现方式，基于整数数组来实现，并具备长度可变、有序等特征。

typedef struct intset{
	uint32_t encoding; /* 编码方式，支持存放16位、32位、64位整数  */
	uint32_t length; /* 元素个数*/
	int8_t contents[]; /*整数数组，保存集合指针数据 元素大小由encoding决定*/
}

空间是否连续？

升级

现在，假设有一个intset，元素为{5.10，20}，采用的编码是INTSET ENC INT16，则每个整数占2字节:

我们向其中添加一个数字:50000，这个数字超出了int16t的范围，intset会自动升级编码方式到合适的大小。

流程如下:

升级编码为INTSET ENC INT32，每个整数占4字节，并按照新的编码方式及元素个数扩容数组
倒序依次将数组中的元素拷贝到扩容后的正确位置
将待添加的元素放入数组末尾

Dict 字典

扩容

Dict中的HashTable就是数组结合单向链表的实现，当集合中元素较多时，必然导致哈希冲突增多，链表过长，则查询效率会大大降低。

size是数组大小，used是元素有多少个。

Dict在每次新增键值对时都会检查负载因子（LoadFactor = used/size），满足以下两种情况时会触发哈希表扩容：

哈希表的 LoadFactor >= 1，并且服务器没有执行 BGSAVE 或者 BGREWRITEAOF 等后台进程；
哈希表的 LoadFactor > 5 ；

static int _dictExpandIfNeeded(dict *d){
    // 如果正在rehash，则返回ok
    if (dictIsRehashing(d)) return DICT_OK;    // 如果哈希表为空，则初始化哈希表为默认大小：4
    if (d->ht[0].size == 0) return dictExpand(d, DICT_HT_INITIAL_SIZE);
    // 当负载因子（used/size）达到1以上，并且当前没有进行bgrewrite等子进程操作
    // 或者负载因子超过5，则进行 dictExpand ，也就是扩容
    if (d->ht[0].used >= d->ht[0].size &&
        (dict_can_resize || d->ht[0].used/d->ht[0].size > dict_force_resize_ratio){
        // 扩容大小为used + 1，底层会对扩容大小做判断，实际上找的是第一个大于等于 used+1 的 2^n
        return dictExpand(d, d->ht[0].used + 1);
    }
    return DICT_OK;
}

注意：扩容实际上找的是第一个大于等于 used+1 的 2^n

Dict的收缩

Dict除了扩容以外，每次删除元素时，也会对负载因子做检查，当LoadFactor < 0.1 时，会做哈希表收缩：

// t_hash.c # hashTypeDeleted() 
...
if (dictDelete((dict*)o->ptr, field) == C_OK) {
    deleted = 1;
    // 删除成功后，检查是否需要重置Dict大小，如果需要则调用dictResize重置   
    if (htNeedsResize(o->ptr)) dictResize(o->ptr);
}

// server.c 文件
int htNeedsResize(dict *dict) {
    long long size, used;
    // 哈希表大小
    size = dictSlots(dict);
    // entry数量
    used = dictSize(dict);
    // size > 4（哈希表初识大小）并且 负载因子低于0.1
    return (size > DICT_HT_INITIAL_SIZE && (used*100/size < HASHTABLE_MIN_FILL));
}


int dictResize(dict *d){
    unsigned long minimal;
    // 如果正在做bgsave或bgrewriteof或rehash，则返回错误
    if (!dict_can_resize || dictIsRehashing(d)) 
        return DICT_ERR;
    // 获取used，也就是entry个数
    minimal = d->ht[0].used;
    // 如果used小于4，则重置为4
    if (minimal < DICT_HT_INITIAL_SIZE)
        minimal = DICT_HT_INITIAL_SIZE;
    // 重置大小为minimal，其实是第一个大于等于minimal的2^n
    return dictExpand(d, minimal);
}

扩容size 第一个大于等于size的2^n

Dict的rehash

不管是扩容还是收缩，必定会创建新的哈希表，导致哈希表的size和sizemask变化，而key的查询与sizemask有关。因此必须对哈希表中的每一个key重新计算索引，插入新的哈希表，这个过程称为rehash。过程是这样的：

计算新hash表的realeSize，值取决于当前要做的是扩容还是收缩：
- 如果是扩容，则新size为第一个大于等于dict.ht[0].used + 1的2^n
- 如果是收缩，则新size为第一个大于等于dict.ht[0].used的2^n （不得小于4）
按照新的realeSize申请内存空间，创建dictht，并赋值给dict.ht[1]
设置dict.rehashidx = 0，标示开始rehash将dict.ht[0]中的每一个dictEntry都rehash到dict.ht[1]
将dict.ht[1]赋值给dict.ht[0]，给dict.ht[1]初始化为空哈希表，释放原来的dict.ht[0]的内存

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hyVvHYMR-1656756025505)(C:\Users\zcw\Desktop\文档\PIC\image-20220603181137230.png)]

Dict的结构：

类似java的HashTable，底层是数组加链表来解决哈希冲突
Dict包含两个哈希表，ht[0]平常用，ht[1]用来rehash

Dict的伸缩：

当LoadFactor大于5或者LoadFactor大于1并且没有子进程任务时，Dict扩容
当LoadFactor小于0.1时，Dict收缩
扩容大小为第一个大于等于used + 1的2^n
收缩大小为第一个大于等于used 的2^n
Dict采用渐进式rehash，每次访问Dict时执行一次rehash
rehash时ht[0]只减不增，新增操作只在ht[1]执行，其它操作在两个哈希表

ZipList

ZipList 是一种特殊的“双端链表” ，由一系列特殊编码的连续内存块组成。可以在任意一端进行压入/弹出操作, 并且该操作的时间复杂度为 O(1)。

zlbytes	zltail	zllen	entry	entry	…	entry	zlend

属性	类型	长度	用途
zlbytes	uint32_t	4 字节	记录整个压缩列表占用的内存字节数
zltail	uint32_t	4 字节	记录压缩列表表尾节点距离压缩列表的起始地址有多少字节，通过这个偏移量，可以确定表尾节点的地址。
zllen	uint16_t	2 字节	记录了压缩列表包含的节点数量。最大值为UINT16_MAX （65534），如果超过这个值，此处会记录为65535，但节点的真实数量需要遍历整个压缩列表才能计算得出。
entry	列表节点	不定	压缩列表包含的各个节点，节点的长度由节点保存的内容决定。
zlend	uint8_t	1 字节	特殊值 0xFF （十进制 255 ），用于标记压缩列表的末端。

ZipListEntry

ZipList 中的Entry并不像普通链表那样记录前后节点的指针，因为记录两个指针要占用16个字节，浪费内存。而是采用了下面的结构：

previous_entry_length	encoding	content

previous_entry_length：前一节点的长度，占1个或5个字节。

如果前一节点的长度小于254字节，则采用1个字节来保存这个长度值
如果前一节点的长度大于254字节，则采用5个字节来保存这个长度值，第一个字节为0xfe，后四个字节才是真实长度数据

**encoding：**编码属性，记录content的数据类型（字符串还是整数）以及长度，占用1个、2个或5个字节

**contents：**负责保存节点的数据，可以是字符串或整数

一汉字等于2个字节，一个英文占一个字节，一个数字占一个字节，一个字节是8位数。

Encoding编码

字符串：如果encoding是以“00”、“01”或者“10”开头，则证明content是字符串

编码	编码长度	字符串大小
\|00pppppp\|	1 bytes	<= 63 bytes
\|01pppppp\|qqqqqqqq\|	2 bytes	<= 16383 bytes
\|10000000\|qqqqqqqq\|rrrrrrrr\|ssssssss\|tttttttt\|	5 bytes	<= 4294967295 bytes

previous_entry_length	encoding	content
00000000	00000010	01100001 01100010
0x00	0x02	0x61 0x62

整数：如果encoding是以“11”开始，则证明content是整数，且encoding固定只占用1个字节

编码	编码长度	整数类型
11000000	1	int16_t（2 bytes）
11010000	1	int32_t（4 bytes）
11100000	1	int64_t（8 bytes）
11110000	1	24位有符整数(3 bytes)
11111110	1	8位有符整数(1 bytes)
1111xxxx	1	直接在xxxx位置保存数值，范围从0001~1101，减1后结果为实际值