Redis之SDS数据结构

简介

SDS(Simple Dynamic String）即简单动态字符串，意味着具有动态增加空间的能力，不需要使用者关心扩容操作。

SDS结构演变

3.2版本之前

typedef char *sds;      //注意，sds其实不是一个结构体类型，而是被typedef的char*，好处见下文

struct sdshdr {
    unsigned int len;   //buf中已经使用的长度
    unsigned int free;  //buf中未使用的长度
    char buf[];         //柔性数组buf
};

3.2版本

__attribute__ ((__packed__)) 是告诉编译器取消字节对其，结构体的大小就是按照结构体内成员的实际大小相加得到的

注：sdshdr5已弃用，在新版本中，sdshdr为sdshdr5时会强行使用sdshdr8

源码文件：sds.h

typedef char *sds;      

// sdshdr5的数据结构：flags + buf + \0
struct __attribute__ ((__packed__)) sdshdr5 {     // 对应的字符串长度（字节数）小于 1<<5（32）
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];
};
// 其他sdshdr*的数据结构：len + alloc + flag + buf + \0
struct __attribute__ ((__packed__)) sdshdr8 {     // 对应的字符串长度小于 1<<8（256）
    uint8_t len; /* used */                       //buf已使用的的长度，即保存的字符串的实际长度
    uint8_t alloc;                                //已经为buf分配的内存总长度
    unsigned char flags;                          //flag用后3个bit来标明类型，前5bit目前没有使用
    char buf[];                                   //柔性数组，以'\0'结尾
};
struct __attribute__ ((__packed__)) sdshdr16 {    // 对应的字符串长度小于 1<<16（65536）
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {    // 对应的字符串长度小于 1<<32（4294967296——42亿）
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {    // 对应的字符串长度小于 1<<64（万万亿）
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

#define SDS_TYPE_5  0
#define SDS_TYPE_8  1
#define SDS_TYPE_16 2
#define SDS_TYPE_32 3
#define SDS_TYPE_64 4
#define SDS_TYPE_MASK 7
#define SDS_TYPE_BITS 3
#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));
#define SDS_HDR(T,s) ((struct sdshdr##T *)((s)-(sizeof(struct sdshdr##T))))
#define SDS_TYPE_5_LEN(f) ((f)>>SDS_TYPE_BITS)

static inline size_t sdslen(const sds s) {
	// s指向的为SDS的buf起始位置，s[-1]表示取buf起始位的前一个字节即flags
    unsigned char flags = s[-1];
    switch(flags&SDS_TYPE_MASK) {
        case SDS_TYPE_5:
            return SDS_TYPE_5_LEN(flags);
        case SDS_TYPE_8:
            return SDS_HDR(8,s)->len;
        case SDS_TYPE_16:
            return SDS_HDR(16,s)->len;
        case SDS_TYPE_32:
            return SDS_HDR(32,s)->len;
        case SDS_TYPE_64:
            return SDS_HDR(64,s)->len;
    }
    return 0;
}

SDS扩容

SDS扩容是在追加新的字符串时触发的，扩容步骤：

1. 获取SDS当前hdr类型
2. 获取待追加字符串长度addLen
3. 获取SDS已分配但未使用的长度availLen
4. 如果addLen <= availLen，不需要扩容，退出扩容函数；否则说明需要扩容，继续执行后续步骤
5. 计算SDS当前已使用的长度currLen
6. 计算追加后字符串的长度newLen = currLen + addLen
7. 如果newLen < SDS_MAX_PREALLOC（每次扩容允许的最大扩容大小，1024 * 1024，即1MB），newLen *= 2，否则newLen += SDS_MAX_PREALLOC
8. 根据newLen生成字符串追加后的sdshdr类型
   newLen <= 2⁵(32)：sdshdr5
   32 < newLen <= 2⁸(256)：sdshdr8
   256 < newLen <= 2¹⁶(65536)：sdshdr16
   65536 < newLen <= 2³²：sdshdr32
   2³² < newLen <= 2 ⁶⁴：sdshdr64
9. 计算sdshdr的长度hdrLen
10. 如果新计算的sdshdr类型与当前SDS的不一致，用于判定是扩充空间还是重新分配空间（sdshdr发生改变需要重新分配空间）
11. 根据hdrLen + newLen +1的长度重新分为内存newsh
12. 将当前SDS中的字符串内容复制到新SDS中
13. 释放当前SDS

参考

https://www.cnblogs.com/yangbodong/p/15344801.html