Redis源码分析之SDS

Redis源码分析之SDS

redis使用的sds源码，由另一个git库管理，独立于redis之外，可以独立看待：https://github.com/antirez/sds ，其好处，再其主页上说的很清楚了，本文是用来分析sds的内存结构，知道内存结构，也就能很好的理解sds的一些操作的原理。

sds被用来描述Redis中的“字符串”，也是redis中最为简单的数据结构之一。本文就来分析 sds的内存布局来了解redis如何管理字符串。

首先，sds 被定义为 typedef char *sds; 即，只是一个指针，具体类型是char *，显然，我们不能一眼看出其内存如何布局的（要能看出这篇文章还有何意义）。

接着，我们通过 sdsnewlen （创建sds）来看 sds的内存布局

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh;
    sds s;
    char type = sdsReqType(initlen);
    /* Empty strings are usually created in order to append. Use type 8
     * since type 5 is not good at this. */
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    int hdrlen = sdsHdrSize(type);
    unsigned char *fp; /* flags pointer. */

    sh = s_malloc(hdrlen+initlen+1);
    ......

显然，整个 sds申请的内存是 hdrlen+initlen+1，其中一部分是 initlen，即入参指定的长度，剩下一部分hdrlen，实际上是 控制数据，即保存用来描述这块sds附加信息。我们来看 hdrlen的来源：

char type = sdsReqType(initlen);
int hdrlen = sdsHdrSize(type);

sdsReqType是根据不同的initlen来决定的，因为 initlen通常用来描述存储的字符串长度，而不同的字符串，需要用来其长度的bit不同，例如，一个小于等于255字节的字符串，使用unit8_t 就能来描述其长度，而 一个大于256小于等于65535的字符串，需要 unit16_t来描述其长度，如果用 unit16_t来描述一个小于大于255字符串，那么久浪费了unit16_t的高8bit。所以redis根据不同长度来申请不同控制信息的头长度 hdrlen。换句话说，sds的内存格式不是固定的，而是根据其存储的不同长度字符串来决定，来达到最大化的内存使用。

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

接下来看看这块内存怎么使用的

s = (char*)sh+hdrlen;/*偏过 hdrlen*/
fp = ((unsigned char*)s)-1;/*fp指向 sdshdrxx的 flags*/

    switch(type) {
        case SDS_TYPE_5: {
            *fp = type | (initlen << SDS_TYPE_BITS);
            break;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_16: {
            SDS_HDR_VAR(16,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
      ......
    }

我们以 SDS_TYPE_16 为例，上面的代码，就是fp上赋值为type，SDS_HDR_VAR是一个宏，展开后，上面代码为:

struct sdshdr16 *sh = s - sizeof(struct sdshdr16);
sh->len = initlen;
sh->alloc = initlen;

*fp = type;的操作和 sh->flags - type 等价，但是之所以这么独立处理，是因为了兼容 SDS_TYPE_5 的数据结构。

#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));

SDS_HDR_VAR的展开，对于 5,8,16...，都有sdshdr5 sdshdr8 sdshdr16 ...数据结构对于，但是除了5，其余sizeof(sdshdr8) sizeof(sdshdr18) ...大小恰好也是自身数字对于的大小，所以对于 8,16...，SDS_HDR_VAR能恰好偏移把自身的长度偏移过去，指向头部的首个字节。如果SDS_HDR_VAR(5, s)，因为sdshdr5自身就1字节，会多偏移4字节。实际那是无奈之举。

    if (initlen && init)
        memcpy(s, init, initlen);
    s[initlen] = '\0';
    return s;

拷贝字符串到结尾。至此，sds创建完成。核心知识点就是，它返回的不是sds的首地址sh，而是字符串的首地址s

return s;

作为一块连续的内存，sds可以被分割为如下3块（对应hdrlen+initlen+1）

   sdshdrx      string  '\0'
sh^------    s^--------  --
sh^------    s^--------  --

这样，如何对sds的操作入参，均是 s，s的前一个字节是sdshdrxx的flags，通过flags，就能推算出，sdshdrxx具体是5还是8还是…。