【Redis源码剖析】 - Redis内置数据结构之压缩字典zipmap

最新推荐文章于 2023-09-23 10:54:51 发布
最新推荐文章于 2023-09-23 10:54:51 发布
阅读量5.5k 收藏 6
点赞数
分类专栏： Redis源码剖析 文章标签： redis zipmap ziplist dict
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xiejingfa/article/details/51111230
版权

原创作品，转载请标明：http://blog.csdn.net/Xiejingfa/article/details/51111230

Redis源码剖析系列文章汇总：传送门

今天为大家带来Redis中zipmap数据结构的分析，该结构定义在zipmap.h和zipmap.c文件中。我把zipmap称作“压缩字典”（不知道这样称呼正不正确）是因为zipmap利用字符串实现了一个简单的hash_table结构，又通过固定的字节表示节省空间。zipmap和前面介绍的ziplist结构十分类似，我们可以对比地进行学习：

  • Redis中定义了双向链表list，但是这种链表的每一个节点需要存储两个指针来指向前一个节点和下一个节点，存在着空间利用率不高的缺点（特别是在存储少量数据的情况下）。为了解决这个问题，Redis引入了压缩列表ziplist，通过存储上一个节点长度和当前节点长度从而在大多数情况下节省了链表指针的存储空间开销。

  • Redis中定义了字典dict来实现很多高级语言中的Map结构，这种结构相对来说比较复杂，而且需要两张散列表来实现rehash操作，在存储少量元素的时候空间利用率也比较低。为此，Redis引入了压缩字典zipmap，就是我们今天要介绍的数据结构。zipmap实质上是用一个字符串来依次保存key和value，有良好的空间利用率和相对不错的查找速度（下面我们会详细讲解）。

如果你还不知道什么是ziplist和dict，请参看我前面的博文：

Redis是基于内存的高效的数据库，从list到ziplist，从dict到zipmap，我们可以看到Redis的作者们为了高效地利用内存空间真是无所不用其极。下面我们就进入今天的主题，介绍zipmap的实现。

再次强调，zipmap和ziplist有很多相似的地方，请大家注意比对学习。

1、zipmap的存储结构

zipmap是用连续内存保存key-value对的结构，查询时是依次遍列每个key-value对，直到查到为止。其存储结构如下所示：

这里写图片描述

各部分的含义如下：

（1）、zmlen字段

zmlen是1个字节的无符号整型数，表示zipmap当前的键值对数量，最多只能表示253个键值对。当zipmap中的元素数量大于或等于254时，只能通过遍历一遍zipmap来确定其大小。

（2）、key length和value length字段

这两个length字段的编码方式和ziplist有些类似，可以用1个字节或5个字节编码表示，具体如下：

  • 如果随后的字符串（key或value）长度小于或等于253，直接用1个字节表示其长度。
  • 如果随后的字符串（key或value）长度超过254，则用5个字节表示，其中第一个字节值为254，接下来的4个字节才是字符串长度。

（3）、free字段

free表示随后的value后面的空闲字节数。比如：假设zipmap存在”foo” => “bar”这样一个键值对，随后我们将“bar”设置为“hi”，此时free = 1，表示value字符串后面有1个字节大小的空闲空间。

free字段是一个占1个字节的整型数，它的值一般都比较小，如果空闲区间太大，zipmap会进行调整以使整个map尽可能小，这个过程发生在zipmapSet操作中。

（4）、end字段

end是zipmap的结尾符，占用1个字节，其值为255。

从zipmap的存储结构中我们可以看到，zipmap中的键值对就是顺序存放的key和value字符串，中间加入了相关的字符串长度编码信息以方便我们获取相关的key和value。而整个zipmap就是在一块内存区中依次存放key-value字符串。

2、zipmap的几个重要操作

与ziplist相比，zipmap的操作要简单许多，Redis甚至没有定义额外的结构体，只是通过简单的字符串操作来维护一个zipmap结构。下面我们就来介绍一下zipmap相关的几个操作：

2.1、创建一个空zipmap

一个空的zipmap结构只有两个字节（即zmlen字段和end字段），结构如下：

这里写图片描述

创建空的zipmap很简单，这里拿出来讲是为了让大家更好地理解zipmap的存储结构。

unsigned char *zipmapNew(void) {
    // 初始化时只有2个字节,第1个字节表示zipmap保存的key-value对的个数，第2个字节为结尾符
    unsigned char *zm = zmalloc(2);

    // 当前保存的键值对个数为0
    zm[0] = 0; /* Length */
    zm[1] = ZIPMAP_END;
    return zm;
}

所以zipmap是不是很简单？

2.2、查找操作

作为一个hash_table结构，其最主要的操作是根据给定的key值查找相应的value值。在zipmap中，key-value是顺序存放的，所以只能从前往后遍历以查找目标键值对，但由于每个键值对中都记录了key和value的长度，所以查找起来也很方便。

具体如下所示：

 /* 按关键字key查找zipmap，如果totlen不为NULL，函数返回后存放zipmap占用的字节数 */
static unsigned char *zipmapLookupRaw(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned int *totlen) {
    // zipmap中第1个字节是zmlen字段，zm+1跳过第1个字节
    unsigned char *p = zm+1, *k = NULL;
    unsigned int l,llen;

    // 从前往后查找
    while(*p != ZIPMAP_END) {
        unsigned char free;

        /* Match or skip the key */
        // 确定key字符串的长度
        l = zipmapDecodeLength(p);
        // 确定保存key字符串长度所需要的字节数，也就是len字段所需要的字节数
        llen = zipmapEncodeLength(NULL,l);
        // 比较当前key与给定key是否匹配
        if (key != NULL && k == NULL && l == klen && !memcmp(p+llen,key,l)) {
            /* Only return when the user doesn't care
             * for the total length of the zipmap. */
            // 如果totlen为NULL，表示函数调用者不关心zipmap占用的字节数，此时直接返回p，否则先记录下p指针然后继续遍历
            if (totlen != NULL) {
                k = p;
            } else {
                return p;
            }
        }
        // p加上llen和l，到了value节点处
        p += llen+l;
        /* Skip the value as well */
        // 确定value字符串的长度
        l = zipmapDecodeLength(p);
        // 确定保存value字符串长度所需要的字节数，也就是len字段所需要的字节数
        p += zipmapEncodeLength(NULL,l);
        // 读出free字段的值（前面我们讲过：free只占用一个字节）
        free = p[0];
        // 跳到下一个key节点的
        p += l+1+free; /* +1 to skip the free byte */
    }
    // 到这里遍历完整个zipmap，得到其占用的字节数
    if (totlen != NULL) *totlen = (unsigned int)(p-zm)+1;
    return k;
}
2.3、插入 & 更新操作

zipmap将插入和更新操作实现在同一个函数zipmapSet中，即存在指定key的键值对则执行更新操作，否则执行插入操作。

函数zipmapSet的执行流程如下：

  • 调用zipmapLookupRaw函数确定指定key的键值对是否已经在zipmap中。
  • 重新分配空间以确保有足够的空间来容纳新的键值对（插入操作）或新的value值（更新操作）。如果是插入操作，就在zipmap尾部增加空间，如果是更新操作，则通过memmove移动在原键值对处留出足够的空间。
  • 在前面两步中已经确定了键值对的位置并有足够的空间，直接写入或更新键值对的信息即可。
/* 根据key设置value，如果key不存在则创建相应的键值对，参数update用来辨别更新操作和添加操作。 */
unsigned char *zipmapSet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char *val, unsigned int vlen, int *update) {
    unsigned int zmlen, offset;
    // 计算存储key和value所需要的字节数
    unsigned int freelen, reqlen = zipmapRequiredLength(klen,vlen);
    unsigned int empty, vempty;
    unsigned char *p;

    /************************************************************************
     *  下面这段代码用于在zipmap留出足够的空间来容纳新插入的键值对或新的value值，尚未写入
     ************************************************************************/
    freelen = reqlen;
    if (update) *update = 0;
    // 在zipmap中查找key，函数返回后zmlen中保存了zipmap所占用的字节数。
    p = zipmapLookupRaw(zm,key,klen,&zmlen);
    if (p == NULL) {
        /* Key not found: enlarge */
        // 如果key指定的键值对不存在，则对zipmap扩容，为容纳新的键值对准备内存空间
        // zipmapResize执行的是realloc操作
        zm = zipmapResize(zm, zmlen+reqlen);
        // 此时p指向扩容前zipmap的结尾符，将从这里添加新的键值对
        p = zm+zmlen-1;
        // 更新zipmap所占用的内存空间大小
        zmlen = zmlen+reqlen;

        /* Increase zipmap length (this is an insert) */
        // 更新zipmap中保存的键值对数量，即zmlen字段
        if (zm[0] < ZIPMAP_BIGLEN) zm[0]++;

    } else {
        /* Key found. Is there enough space for the new value? */
        /* 找到可对应的键值对，执行更新操作。这里需要考虑value节点的空间大小是否能够容纳新值 */
        /* Compute the total length: */
        if (update) *update = 1;
        // 求出旧value节点的空间大小
        freelen = zipmapRawEntryLength(p);
        if (freelen < reqlen) {
            /* Store the offset of this key within the current zipmap, so
             * it can be resized. Then, move the tail backwards so this
             * pair fits at the current position. */
             // 旧节点的空间太小，需要扩容操作，zipmapResize函数会重新分配空间，所以需要记录p指针的偏移量
            offset = p-zm;
            zm = zipmapResize(zm, zmlen-freelen+reqlen);
            p = zm+offset;

            /* The +1 in the number of bytes to be moved is caused by the
             * end-of-zipmap byte. Note: the *original* zmlen is used. */
            // 移动旧value节点以后的元素以确保有足够的空间容纳新值（ +1是将尾部结尾符一起移动）
            memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
            zmlen = zmlen-freelen+reqlen;
            freelen = reqlen;
        }
    }

    /* We now have a suitable block where the key/value entry can
     * be written. If there is too much free space, move the tail
     * of the zipmap a few bytes to the front and shrink the zipmap,
     * as we want zipmaps to be very space efficient. */
    // freelen表示经上步骤后流出来的空余空间大小，reqlen表示插入或更新键值对所需要的空间，两者的差就是free字段的
    // 的值，如果该值过大zipmap会自动调整。下面这段代码就是完成调整功能。
    empty = freelen-reqlen;
    if (empty >= ZIPMAP_VALUE_MAX_FREE) {
        /* First, move the tail <empty> bytes to the front, then resize
         * the zipmap to be <empty> bytes smaller. */
        offset = p-zm;
        memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
        zmlen -= empty;
        zm = zipmapResize(zm, zmlen);
        p = zm+offset;
        vempty = 0;
    } else {
        vempty = empty;
    }

    /******************************************
     *  下面的操作是讲key和value写入zipmap指定位置
     *******************************************/
    /* Just write the key + value and we are done. */
    /* Key: */
    // 对key的长度编码并写入zipmap中
    p += zipmapEncodeLength(p,klen);
    // 写入key字符串
    memcpy(p,key,klen);
    // 移动指针到value写入位置
    p += klen;
    /* Value: */
    // 对value的长度编码并写入zipmap中
    p += zipmapEncodeLength(p,vlen);
    // 写入free字段
    *p++ = vempty;
    // 写入value
    memcpy(p,val,vlen);
    return zm;
}

3、总结

zipmap主要是为了节省内存空间而设计的字符串-字符串映射结构（哈希结构）。它的实现很简单，代码只有400余行。

zipmap通过在一块连续的内存空间上依次存放key-value对来维持key和value的映射结构，但它跟我们传统意义上的散列结构不同，只能通过依次遍历每个key-value节点来查找给定key值得value信息。但是，相比于字典dict，zipmap通过固定的字节编码表示节省了不少空间。另外，由于使用了一块连续的内存空间，zipmap的每一次插入、删除、更新操作都有可能造成空间的重新分配。

从zipmap的实现上我们可以看到，zipmap不适合用来存放大量的key-value对。在运用上，Redis中内置的Hash结构在保存的元素数量较少时会采用zipmap来存放键值对，当元素的数量到达给定值后才会转为用哈希表来存储以节省内存。

下面贴出注释版的代码，供大家参考：

/* String -> String Map data structure optimized for size.
 *  zipmap是为了节省内存空间而设计的字符串-字符串映射结构（哈希结构）
 * 
 * This file implements a data structure mapping strings to other strings
 * implementing an O(n) lookup data structure designed to be very memory
 * efficient.
 *  zipmap实现了一种将字符串与字符串之间映射起来的数据结构，它支持O(n)的查找效率并具有良好的空间利用率。
 *
 * The Redis Hash type uses this data structure for hashes composed of a small
 * number of elements, to switch to a hash table once a given number of
 * elements is reached.
 *  Redis中内置的Hash结构在保存的元素数量较少时会采用zipmap来存放键值对，当元素的数量到达给定值
 *  后才会转为用哈希表来存储以节省内存。
 *
 * Given that many times Redis Hashes are used to represent objects composed
 * of few fields, this is a very big win in terms of used memory.
 *  Redis中的Hash结构经常被用来保存只有少量字段的对象，这种情况下使用zipmap能很大程度上节省内存
 *
 * --------------------------------------------------------------------------
 *
 * Copyright (c) 2009-2010, Salvatore Sanfilippo <antirez at gmail dot com>
 * All rights reserved.
 *
 * Redistribution and use in source and binary forms, with or without
 * modification, are permitted provided that the following conditions are met:
 *
 *   * Redistributions of source code must retain the above copyright notice,
 *     this list of conditions and the following disclaimer.
 *   * Redistributions in binary form must reproduce the above copyright
 *     notice, this list of conditions and the following disclaimer in the
 *     documentation and/or other materials provided with the distribution.
 *   * Neither the name of Redis nor the names of its contributors may be used
 *     to endorse or promote products derived from this software without
 *     specific prior written permission.
 *
 * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
 * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
 * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
 * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
 * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
 * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
 * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
 * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
 * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
 * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
 * POSSIBILITY OF SUCH DAMAGE.
 */

/* Memory layout of a zipmap, for the map "foo" => "bar", "hello" => "world":
 *  zipmap的内存空间布局如下（假设存放着"foo" => "bar", "hello" => "world"数据）：
 *
 * <zmlen><len>"foo"<len><free>"bar"<len>"hello"<len><free>"world"
 *
 * <zmlen> is 1 byte length that holds the current size of the zipmap.
 * When the zipmap length is greater than or equal to 254, this value
 * is not used and the zipmap needs to be traversed to find out the length.
 *  zmlen是1个字节的无符号整型数，表示zipmap当前的键值对数量，最多只能表示253个键值对。当zipmap中的元素数量大于
 *  或等于254时，只能通过遍历一遍zipmap来确定其大小。
 *
 * <len> is the length of the following string (key or value).
 *  len表示随后的字符串的长度，这些字符串可能是key或者value
 *
 * <len> lengths are encoded in a single value or in a 5 bytes value.
 * If the first byte value (as an unsigned 8 bit value) is between 0 and
 * 253, it's a single-byte length. If it is 254 then a four bytes unsigned
 * integer follows (in the host byte ordering). A value of 255 is used to
 * signal the end of the hash.
 *  len字段的编码方式和ziplist有些类似，可以用1个字节或5个字节编码表示，具体如下：
 *      （1）如果随后的字符串长度小于或等于253，直接用1个字节表示其长度
 *      （2）如果随后的字符串长度超过254，则用5个字节表示，其中第一个字节值为254，接下来的4个字节才是字符串长度
 *
 * <free> is the number of free unused bytes after the string, resulting
 * from modification of values associated to a key. For instance if "foo"
 * is set to "bar", and later "foo" will be set to "hi", it will have a
 * free byte to use if the value will enlarge again later, or even in
 * order to add a key/value pair if it fits.
 *  free表示随后的value的空闲字节数。比如：假设zipmap存在"foo" => "bar"这样一个键值对，随后我们将“bar”设置为
 *  ”hi"，此时free = 1，表示value字符串后面有1个字节大小的空闲空间。
 *
 * <free> is always an unsigned 8 bit number, because if after an
 * update operation there are more than a few free bytes, the zipmap will be
 * reallocated to make sure it is as small as possible.
 *  free字段是一个占1个字节的整型数，它的值一般都比较小，如果空闲区间太大，zipmap会进行调整以使整个map尽可能小。
 *
 *  zipmap也存在一个结尾符，占用1个字节，其值为255。
 *  
 *  从上面的介绍可以看出：zipmap实质上是用一个字符串数组来依次保存key和value,查询时是依次遍列每个key-value对，直到查到为止。
 *
 * The most compact representation of the above two elements hash is actually:
 *
 * "\x02\x03foo\x03\x00bar\x05hello\x05\x00world\xff"
 *
 * Note that because keys and values are prefixed length "objects",
 * the lookup will take O(N) where N is the number of elements
 * in the zipmap and *not* the number of bytes needed to represent the zipmap.
 * This lowers the constant times considerably.
 */

#include <stdio.h>
#include <string.h>
#include "zmalloc.h"
#include "endianconv.h"

 /* 说明：为了描述方便，这里将key-value键值对的key称为key节点，value称为value节点 */

#define ZIPMAP_BIGLEN 254   // zipmap的元素个数超过253时的标识符
#define ZIPMAP_END 255      // zipmap的结尾符

/* The following defines the max value for the <free> field described in the
 * comments above, that is, the max number of trailing bytes in a value. */
/* free字段的最大值，也就是value后面的最大空闲字节数 */
#define ZIPMAP_VALUE_MAX_FREE 4

/* The following macro returns the number of bytes needed to encode the length
 * for the integer value _l, that is, 1 byte for lengths < ZIPMAP_BIGLEN and
 * 5 bytes for all the other lengths. */
/* 工具宏，用来确定len字段所占用的字节数。简单地测试第一个字节的值与254的大小关系 */
#define ZIPMAP_LEN_BYTES(_l) (((_l) < ZIPMAP_BIGLEN) ? 1 : sizeof(unsigned int)+1)

/* Create a new empty zipmap. */
/* 创建一个空的zipmap结构 */
unsigned char *zipmapNew(void) {
    // 初始化时只有2个字节,第1个字节表示zipmap保存的key-value对的个数，第2个字节为结尾符
    unsigned char *zm = zmalloc(2);

    // 当前保存的键值对个数为0
    zm[0] = 0; /* Length */
    zm[1] = ZIPMAP_END;
    return zm;
}

/* Decode the encoded length pointed by 'p' */
/* 获取len字段的数值（即随后字符串的长度），其原理很简单：查看第一个字节的数值，如果该数值小于254，则直接返回，
    否则读取接下来的4个字节内容表示的数值。 */
static unsigned int zipmapDecodeLength(unsigned char *p) {
    unsigned int len = *p;

    if (len < ZIPMAP_BIGLEN) return len;
    // 读取随后4个字节的内容
    memcpy(&len,p+1,sizeof(unsigned int));
    // 统一转化为小端模式表示
    memrev32ifbe(&len);
    return len;
}

/* Encode the length 'l' writing it in 'p'. If p is NULL it just returns
 * the amount of bytes required to encode such a length. */
/* 将长度len编码到p指针指向的内存空间 */
static unsigned int zipmapEncodeLength(unsigned char *p, unsigned int len) {
    if (p == NULL) {
        return ZIPMAP_LEN_BYTES(len);
    } else {
        if (len < ZIPMAP_BIGLEN) {
            // 长度小于254，只需要1个字节表示
            p[0] = len;
            return 1;
        } else {
            // 长度大于等于254，第一个字节赋值为254，接下来的4歌字节才是真正的长度值
            p[0] = ZIPMAP_BIGLEN;
            memcpy(p+1,&len,sizeof(len));
            memrev32ifbe(p+1);
            return 1+sizeof(len);
        }
    }
}

/* Search for a matching key, returning a pointer to the entry inside the
 * zipmap. Returns NULL if the key is not found.
 *
 * If NULL is returned, and totlen is not NULL, it is set to the entire
 * size of the zimap, so that the calling function will be able to
 * reallocate the original zipmap to make room for more entries. */
 /* 按关键字key查找zipmap，如果totlen不为NULL，函数返回后存放zipmap占用的字节数 */
static unsigned char *zipmapLookupRaw(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned int *totlen) {
    // zipmap中第1个字节是zmlen字段，zm+1跳过第1个字节
    unsigned char *p = zm+1, *k = NULL;
    unsigned int l,llen;

    // 从前往后查找
    while(*p != ZIPMAP_END) {
        unsigned char free;

        /* Match or skip the key */
        // 确定key字符串的长度
        l = zipmapDecodeLength(p);
        // 确定保存key字符串长度所需要的字节数，也就是len字段所需要的字节数
        llen = zipmapEncodeLength(NULL,l);
        // 比较当前key与给定key是否匹配
        if (key != NULL && k == NULL && l == klen && !memcmp(p+llen,key,l)) {
            /* Only return when the user doesn't care
             * for the total length of the zipmap. */
            // 如果totlen为NULL，表示函数调用者不关心zipmap占用的字节数，此时直接返回p，否则先记录下p指针然后继续遍历
            if (totlen != NULL) {
                k = p;
            } else {
                return p;
            }
        }
        // p加上llen和l，到了value节点处
        p += llen+l;
        /* Skip the value as well */
        // 确定value字符串的长度
        l = zipmapDecodeLength(p);
        // 确定保存value字符串长度所需要的字节数，也就是len字段所需要的字节数
        p += zipmapEncodeLength(NULL,l);
        // 读出free字段的值（前面我们讲过：free只占用一个字节）
        free = p[0];
        // 跳到下一个key节点的
        p += l+1+free; /* +1 to skip the free byte */
    }
    // 到这里遍历完整个zipmap，得到其占用的字节数
    if (totlen != NULL) *totlen = (unsigned int)(p-zm)+1;
    return k;
}

/* 存储由长度为klen的key和长度为vlen的value组成的键值对所需要的字节数*/
static unsigned long zipmapRequiredLength(unsigned int klen, unsigned int vlen) {
    unsigned int l;

    l = klen+vlen+3;
    if (klen >= ZIPMAP_BIGLEN) l += 4;
    if (vlen >= ZIPMAP_BIGLEN) l += 4;
    return l;
}

/* Return the total amount used by a key (encoded length + payload) */
/* 获取key节点占用的字节数，即len字段 + key字符串长度 */
static unsigned int zipmapRawKeyLength(unsigned char *p) {
    // 获取key字符串的长度
    unsigned int l = zipmapDecodeLength(p);
    // 加上保存key字符串长度所需要的字节数
    return zipmapEncodeLength(NULL,l) + l;
}

/* Return the total amount used by a value
 * (encoded length + single byte free count + payload) */
/* 获取value节点占用的字节数，即len字段 + 1个字节free字段 + value字符串长度 + 空闲空间大小 */
static unsigned int zipmapRawValueLength(unsigned char *p) {
    // 获取value字符串的长度
    unsigned int l = zipmapDecodeLength(p);
    unsigned int used;

    // 获取保存value字符串长度所需要的字节数
    used = zipmapEncodeLength(NULL,l);
    // p[used]里面存储着空闲空间的大小
    used += p[used] + 1 + l;
    return used;
}

/* If 'p' points to a key, this function returns the total amount of
 * bytes used to store this entry (entry = key + associated value + trailing
 * free space if any). */
/* 如果p指向key节点，则该函数返回存储整个键值对所占用的字节数，包括key节点长度 + value节点长度 + 空闲字节数（如果有） */
static unsigned int zipmapRawEntryLength(unsigned char *p) {
    unsigned int l = zipmapRawKeyLength(p);
    return l + zipmapRawValueLength(p+l);
}

/* 重新调整zipmap的大小 */
static inline unsigned char *zipmapResize(unsigned char *zm, unsigned int len) {
    // 重新分配空间，注意是realloc，即在原空间重新分配
    zm = zrealloc(zm, len);
    // 设置结尾符
    zm[len-1] = ZIPMAP_END;
    return zm;
}

/* Set key to value, creating the key if it does not already exist.
 * If 'update' is not NULL, *update is set to 1 if the key was
 * already preset, otherwise to 0. */
/* 根据key设置value，如果key不存在则创建相应的键值对，参数update用来辨别更新操作和添加操作。 */
unsigned char *zipmapSet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char *val, unsigned int vlen, int *update) {
    unsigned int zmlen, offset;
    // 计算存储key和value所需要的字节数
    unsigned int freelen, reqlen = zipmapRequiredLength(klen,vlen);
    unsigned int empty, vempty;
    unsigned char *p;

    /************************************************************************
     *  下面这段代码用于在zipmap留出足够的空间来容纳新插入的键值对或新的value值，尚未写入
     ************************************************************************/
    freelen = reqlen;
    if (update) *update = 0;
    // 在zipmap中查找key，函数返回后zmlen中保存了zipmap所占用的字节数。
    p = zipmapLookupRaw(zm,key,klen,&zmlen);
    if (p == NULL) {
        /* Key not found: enlarge */
        // 如果key指定的键值对不存在，则对zipmap扩容，为容纳新的键值对准备内存空间
        // zipmapResize执行的是realloc操作
        zm = zipmapResize(zm, zmlen+reqlen);
        // 此时p指向扩容前zipmap的结尾符，将从这里添加新的键值对
        p = zm+zmlen-1;
        // 更新zipmap所占用的内存空间大小
        zmlen = zmlen+reqlen;

        /* Increase zipmap length (this is an insert) */
        // 更新zipmap中保存的键值对数量，即zmlen字段
        if (zm[0] < ZIPMAP_BIGLEN) zm[0]++;

    } else {
        /* Key found. Is there enough space for the new value? */
        /* 找到可对应的键值对，执行更新操作。这里需要考虑value节点的空间大小是否能够容纳新值 */
        /* Compute the total length: */
        if (update) *update = 1;
        // 求出旧value节点的空间大小
        freelen = zipmapRawEntryLength(p);
        if (freelen < reqlen) {
            /* Store the offset of this key within the current zipmap, so
             * it can be resized. Then, move the tail backwards so this
             * pair fits at the current position. */
             // 旧节点的空间太小，需要扩容操作，zipmapResize函数会重新分配空间，所以需要记录p指针的偏移量
            offset = p-zm;
            zm = zipmapResize(zm, zmlen-freelen+reqlen);
            p = zm+offset;

            /* The +1 in the number of bytes to be moved is caused by the
             * end-of-zipmap byte. Note: the *original* zmlen is used. */
            // 移动旧value节点以后的元素以确保有足够的空间容纳新值（ +1是将尾部结尾符一起移动）
            memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
            zmlen = zmlen-freelen+reqlen;
            freelen = reqlen;
        }
    }

    /* We now have a suitable block where the key/value entry can
     * be written. If there is too much free space, move the tail
     * of the zipmap a few bytes to the front and shrink the zipmap,
     * as we want zipmaps to be very space efficient. */
    // freelen表示经上步骤后流出来的空余空间大小，reqlen表示插入或更新键值对所需要的空间，两者的差就是free字段的
    // 的值，如果该值过大zipmap会自动调整。下面这段代码就是完成调整功能。
    empty = freelen-reqlen;
    if (empty >= ZIPMAP_VALUE_MAX_FREE) {
        /* First, move the tail <empty> bytes to the front, then resize
         * the zipmap to be <empty> bytes smaller. */
        offset = p-zm;
        memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
        zmlen -= empty;
        zm = zipmapResize(zm, zmlen);
        p = zm+offset;
        vempty = 0;
    } else {
        vempty = empty;
    }

    /******************************************
     *  下面的操作是讲key和value写入zipmap指定位置
     *******************************************/
    /* Just write the key + value and we are done. */
    /* Key: */
    // 对key的长度编码并写入zipmap中
    p += zipmapEncodeLength(p,klen);
    // 写入key字符串
    memcpy(p,key,klen);
    // 移动指针到value写入位置
    p += klen;
    /* Value: */
    // 对value的长度编码并写入zipmap中
    p += zipmapEncodeLength(p,vlen);
    // 写入free字段
    *p++ = vempty;
    // 写入value
    memcpy(p,val,vlen);
    return zm;
}

/* Remove the specified key. If 'deleted' is not NULL the pointed integer is
 * set to 0 if the key was not found, to 1 if it was found and deleted. */
/* 根据key删除指定的键值对 */
unsigned char *zipmapDel(unsigned char *zm, unsigned char *key, unsigned int klen, int *deleted) {
    unsigned int zmlen, freelen;
    // 看判断该键值对是否在zipmap中，如果不存在则直接返回
    unsigned char *p = zipmapLookupRaw(zm,key,klen,&zmlen);
    if (p) {
        // 下面三句代码执行删除操作，其实就是内存块的移动操作
        freelen = zipmapRawEntryLength(p);
        memmove(p, p+freelen, zmlen-((p-zm)+freelen+1));
        zm = zipmapResize(zm, zmlen-freelen);

        /* Decrease zipmap length */
        if (zm[0] < ZIPMAP_BIGLEN) zm[0]--;

        if (deleted) *deleted = 1;
    } else {
        if (deleted) *deleted = 0;
    }
    return zm;
}

/* Call before iterating through elements via zipmapNext() */
/* zipmapNext迭代器函数，还记得前面我们分析过zipmap第一个字节是zmlen字段吗？下面这个函数就是跳过第一个字节返回
    指向第一个键值对的首地址 */
unsigned char *zipmapRewind(unsigned char *zm) {
    return zm+1;
}

/* This function is used to iterate through all the zipmap elements.
 * In the first call the first argument is the pointer to the zipmap + 1.
 * In the next calls what zipmapNext returns is used as first argument.
 * Example:
 *
 * unsigned char *i = zipmapRewind(my_zipmap);
 * while((i = zipmapNext(i,&key,&klen,&value,&vlen)) != NULL) {
 *     printf("%d bytes key at $p\n", klen, key);
 *     printf("%d bytes value at $p\n", vlen, value);
 * }
 */
/* zipmap的迭代器式遍历函数，典型用法如下：
 *
 *      unsigned char *i = zipmapRewind(my_zipmap);
 *      while((i = zipmapNext(i,&key,&klen,&value,&vlen)) != NULL) {
 *          printf("%d bytes key at $p\n", klen, key);
 *          printf("%d bytes value at $p\n", vlen, value);
 *      }
 */
unsigned char *zipmapNext(unsigned char *zm, unsigned char **key, unsigned int *klen, unsigned char **value, unsigned int *vlen) {
    // 如果达到尾部，直接返回NULL
    if (zm[0] == ZIPMAP_END) return NULL;
    // 获取key
    if (key) {
        *key = zm;
        *klen = zipmapDecodeLength(zm);
        *key += ZIPMAP_LEN_BYTES(*klen);
    }
    zm += zipmapRawKeyLength(zm);
    // 获取value
    if (value) {
        // +1是为了跳过free字段，该字段占用一个字节
        *value = zm+1;
        *vlen = zipmapDecodeLength(zm);
        *value += ZIPMAP_LEN_BYTES(*vlen);
    }
    // 此时zm指向下一个键值对的首地址
    zm += zipmapRawValueLength(zm);
    return zm;
}

/* Search a key and retrieve the pointer and len of the associated value.
 * If the key is found the function returns 1, otherwise 0. */
/* 根据key值查找相应的value值，其实是对zipmapLookupRaw的包装 */
int zipmapGet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char **value, unsigned int *vlen) {
    unsigned char *p;

    if ((p = zipmapLookupRaw(zm,key,klen,NULL)) == NULL) return 0;
    p += zipmapRawKeyLength(p);
    *vlen = zipmapDecodeLength(p);
    *value = p + ZIPMAP_LEN_BYTES(*vlen) + 1;
    return 1;
}

/* Return 1 if the key exists, otherwise 0 is returned. */
/* 判断某个key是否存在 */
int zipmapExists(unsigned char *zm, unsigned char *key, unsigned int klen) {
    return zipmapLookupRaw(zm,key,klen,NULL) != NULL;
}

/* Return the number of entries inside a zipmap */
/* 返回zipmap中键值对的个数，如果zmlen字段的值小于254，值zmlen的值就是所要求得返回值，否则需要遍历整个zipmap */
unsigned int zipmapLen(unsigned char *zm) {
    unsigned int len = 0;
    if (zm[0] < ZIPMAP_BIGLEN) {
        len = zm[0];
    } else {
        unsigned char *p = zipmapRewind(zm);
        while((p = zipmapNext(p,NULL,NULL,NULL,NULL)) != NULL) len++;

        /* Re-store length if small enough */
        if (len < ZIPMAP_BIGLEN) zm[0] = len;
    }
    return len;
}

/* Return the raw size in bytes of a zipmap, so that we can serialize
 * the zipmap on disk (or everywhere is needed) just writing the returned
 * amount of bytes of the C array starting at the zipmap pointer. */
/* 获取整个zipmap占用的字节数，其实是对zipmapLookupRaw的包装 */
size_t zipmapBlobLen(unsigned char *zm) {
    unsigned int totlen;
    zipmapLookupRaw(zm,NULL,0,&totlen);
    return totlen;
}

#ifdef ZIPMAP_TEST_MAIN
/* 格式化输出函数 */
void zipmapRepr(unsigned char *p) {
    unsigned int l;

    printf("{status %u}",*p++);
    while(1) {
        if (p[0] == ZIPMAP_END) {
            printf("{end}");
            break;
        } else {
            unsigned char e;

            l = zipmapDecodeLength(p);
            printf("{key %u}",l);
            p += zipmapEncodeLength(NULL,l);
            if (l != 0 && fwrite(p,l,1,stdout) == 0) perror("fwrite");
            p += l;

            l = zipmapDecodeLength(p);
            printf("{value %u}",l);
            p += zipmapEncodeLength(NULL,l);
            e = *p++;
            if (l != 0 && fwrite(p,l,1,stdout) == 0) perror("fwrite");
            p += l+e;
            if (e) {
                printf("[");
                while(e--) printf(".");
                printf("]");
            }
        }
    }
    printf("\n");
}

/* 下面是一些测试代码 */
int main(void) {
    unsigned char *zm;

    zm = zipmapNew();

    zm = zipmapSet(zm,(unsigned char*) "name",4, (unsigned char*) "foo",3,NULL);
    zm = zipmapSet(zm,(unsigned char*) "surname",7, (unsigned char*) "foo",3,NULL);
    zm = zipmapSet(zm,(unsigned char*) "age",3, (unsigned char*) "foo",3,NULL);
    zipmapRepr(zm);

    zm = zipmapSet(zm,(unsigned char*) "hello",5, (unsigned char*) "world!",6,NULL);
    zm = zipmapSet(zm,(unsigned char*) "foo",3, (unsigned char*) "bar",3,NULL);
    zm = zipmapSet(zm,(unsigned char*) "foo",3, (unsigned char*) "!",1,NULL);
    zipmapRepr(zm);
    zm = zipmapSet(zm,(unsigned char*) "foo",3, (unsigned char*) "12345",5,NULL);
    zipmapRepr(zm);
    zm = zipmapSet(zm,(unsigned char*) "new",3, (unsigned char*) "xx",2,NULL);
    zm = zipmapSet(zm,(unsigned char*) "noval",5, (unsigned char*) "",0,NULL);
    zipmapRepr(zm);
    zm = zipmapDel(zm,(unsigned char*) "new",3,NULL);
    zipmapRepr(zm);

    printf("\nLook up large key:\n");
    {
        unsigned char buf[512];
        unsigned char *value;
        unsigned int vlen, i;
        for (i = 0; i < 512; i++) buf[i] = 'a';

        zm = zipmapSet(zm,buf,512,(unsigned char*) "long",4,NULL);
        if (zipmapGet(zm,buf,512,&value,&vlen)) {
            printf("  <long key> is associated to the %d bytes value: %.*s\n",
                vlen, vlen, value);
        }
    }

    printf("\nPerform a direct lookup:\n");
    {
        unsigned char *value;
        unsigned int vlen;

        if (zipmapGet(zm,(unsigned char*) "foo",3,&value,&vlen)) {
            printf("  foo is associated to the %d bytes value: %.*s\n",
                vlen, vlen, value);
        }
    }
    printf("\nIterate through elements:\n");
    {
        unsigned char *i = zipmapRewind(zm);
        unsigned char *key, *value;
        unsigned int klen, vlen;

        while((i = zipmapNext(i,&key,&klen,&value,&vlen)) != NULL) {
            printf("  %d:%.*s => %d:%.*s\n", klen, klen, key, vlen, vlen, value);
        }
    }
    return 0;
}
#endif
弗莱德笔记
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LZW字典压缩算法的实现
陈九龙的专栏
01-10 2007
1数据压缩分类 2.字典压缩的基本原理 以色列人Lempel与Ziv发现在正文流中词汇和短语很可能会重复出现。当出现一个重复时，重复的序列可以用一个短的编码来代替。压缩程序重复扫描这样的重复，同时生成编码来代替重复序列。随着时间的过去，编码可以用来捕获新的序列。算法必须设计成压缩程序能够在编码和原始数据序列推导出当前的映射。 2.1.LZ77算法 L...
LZW字典压缩
马一凡的博客
12-29 4786
什么是LZW字典压缩 LZW字典压缩的精髓就是通过字典去记录一些出现频次比较高的词汇，并在存储的时候把一些词汇用特定的数去表示。如果一个字符串“ab”出现的频次很高，若采用直接用字符的方式去存储（字符的编码范围是0~65536，两个字节）需要4个字节，那么它出现10次就要占用40个字节；如果我们规定一个数来表示“ab”，比如256,256需要占用两个字节的存储空间，使用10次需要20个字节，和前者...
Another-Redis-Desktop-Manager.1.5.6
07-22
官网下载太慢，这里做了提取，可以在这里下载
详解redis数据结构之压缩列表
09-09
主要介绍了详解redis数据结构之压缩列表的相关资料，压缩列表在redis中的结构体名称为ziplist，其是redis为了节约内存而声明的一种数据结构,需要的朋友可以参考下
01-Redis核心数据结构实战与高性能原理剖析-ev.rar
最新发布
03-08
01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar01-Redis核心数据结构实战与高性能原理剖析_ev.rar
redis++使用说明,windows下编译redis-plus-plus
06-13
redis++使用说明,windows下编译redis-plus-plus
01-VIP-Redis核心数据结构与核心原理1
08-03
Nginx也是采用IO多路复用原理解决C10K问题# 查看redis支持的最大连接数，在redis.conf文件中可修改，# maxclients 10000其
Redis内存容量的预估和优化
wx_mdq的专栏
02-29 1140
Redis是个内存全集的kv数据库,不存在部分数据在磁盘部分数据在内存里的情况,所以提前预估和节约内存非常重要.本文将以最常用的string和zipmap两类数据结构在jemalloc内存分配器下的内存容量预估和节约内存的方法. 先说说jemalloc,传说中解决firefox内存问题freebsd的默认malloc分配器,area,thread-cache功能和tmalloc非
redis中对象存储内存占用预估和相关对象
进化的深山猿
05-13 4242
redis内存占用评估
redis数据类型bitmap（七）
weixin_43808717的博客
09-02 887
1、数据结构 bitmap：位图，是由01组成的 bit 串，很显然这种数据结构是非常节省存储空间的。按照存储空间来算1个byte有8个bit位，其中每一个比特位都可以使用0 或者 1来表示某种状态！ redis中bitmap最大的bit数量 = 2^32-1 bit；也就是说单个bitmap的key最大有512MB。 bitmap在c++语言中有一个孪生兄弟bitset，一般用于做二进制压缩（节约空间），可以简单的认为bitmap就是一个由01构成的数组，数组最大长度是int大小。 2
Redis源码解析——Zipmap
方亮的专栏
12-14 5390
本文介绍的是Redis中Zipmap的原理和实现。（转载请指明出于breaksoftware的csdn博客） 基础结构 Zipmap是为了实现保存Pair(String,String)数据的结构，该结构包含一个头信息、一系列字符串对（之后把一个“字符串对”称为一个“元素”（ELE））和一个尾标记。用图形表示该结构就是： Redis源码中并没...
03 关于 zipmap
970655147的专栏
05-15 238
前言 关于 redis 的数据结构 zipmap 相关介绍主要围绕着如下测试用例, 来看看 zipmap 的存储, 以及 相关的 api 本文的 sds 相关代码 拷贝自 redis-6.2.0 代码来自于https://redis.io/ 这个数据结构在 redis 中已经没有使用了, 呵呵 但是在几年前 我看过的一个的一个版本里面, 它应该是作为了 hash 的底层支撑之一吧 现在看了一下 hash 的实现, 似乎是 hashtable /ziplist 来支撑业务...
zipmap-压缩字典
一七令
06-04 1262
前言 hash 数据类型是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。每个 hash 可以存储 232 - 1 键值对（40多亿）。 redis 在 hash 类型数量比较小的时候会选择使用 zipmap 来实现存储。先看看 Redis 是怎么定义 zipmap的： String -> String Map 数据结构优化了大小。 该文件实现了一个数据结构，将字符串映射到其他字符串，实现了一个 O(n) 查找数据结构，该结构设计为非
Redis数据结构与对象——字典、跳跃表、整数集合、压缩列表、对象
qq_42673707的博客
10-24 186
MySQL索引与算法 仅作为笔记，除部分装载部分，码字不易，转载请标明出处。 文章目录MySQL索引与算法前言一、InnoDB存储引擎索引概述二、数据结构与算法2.1 二分查找法2.2 二叉查找树和平衡二叉树三、B+树3.1 B+树的插入操作3.2 B+树的删除操作四、B+索引树4.1 聚集索引4.2 辅助索引4.3 B+树索引的分裂五、Cardinality值5.1 什么是Cardinality5.2 InnoDB存储引擎的Cardinality统计六、B+树索引的使用6.1不同应用中B+树索引的使用6
redis之zipmap
happytree001的博客
08-17 381
一、简介 zipmap是一个为优化Map<String, String>数据结构大小的结构。 查找时间复杂度O(n) 内存结构紧凑，访问效率高 适用少量元素的hash, 一旦元素个数达到一定限制就会转化为正在的hash结构 二、结构图 三、实现 3.1 宏定义 #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255 /* The following defines the max value for the <free> field
LZW字典压缩算法及例程
嵌入式之斋
09-23 354
如果找到匹配的键，就继续向后搜索，并将当前字符加入到已匹配键的末尾，直到找不到匹配的键。此时，算法将输出匹配键对应的编码，并将匹配键与下一个字符组合成新的键添加到字典中。LZW算法具有动态生成和更新字典的特点，因此可以根据输入数据中的模式和重复出现的字符串来实现较高的压缩比。，其中 A 对应的编码是 65，B 对应的编码是 66，字典中动态添加了两个新的序列（AB、ABA），对应的编码分别是 256 和 258。初始化字典：初始时，字典包含所有可能的单个字符作为键，并将其映射到对应的编码值。
压缩文件时的字典大小和压缩方式是什么、有什么影响？rar好还是zip好，RAR4、RAR5？附上压缩后文件大小（占用空间）、压缩速度的比较。
热门推荐
愿天堂没有 Time Limit Exceeded
03-17 4万+
直接回答问题 这样子写一目了然 字典大小和压缩方式 压缩效果好： 字典越大：压缩效果越好（压缩后文件越小）、压缩速度越慢、压缩时占用内存和cpu越多 压缩方式越接近“最好”：压缩效果越好（压缩后文件越小）、压缩速度越慢、压缩时占用内存和cpu越多 压缩速度快： 字典越小：压缩效果越差（压缩后文件越大）、压缩速度越快、压缩时占用内存和cpu越少 压缩方式越接近“存储”：压缩效果越差（压缩后文件越大）、压缩速度越快、压缩时占用内存和cpu越少 rar和rar4和rar5和zip的不同、用哪个好？ 我本人
详解LZ77字典编码压缩和解压缩流程（典型的压缩算法）
雷恩Layne
07-16 9247
字典编码本质上是将在字典中出现过的字符串使用一个索引值代替，以此来达到压缩目的。基于字典的压缩算法有很多，LZ77和LZ78是最原始的两个算法，后者是前者的变体，原理基本上相似。本文对LZ77字典编码的压缩和解压缩流程进行介绍。...
redis2.6.9源码学习---zipmap
RobertXin
05-02 104
在看此文件源码之前，先看到此文件头部的英文注释，以下是本人理解翻译版：&lt;/p&gt;该文件实现了一个数据结构映射到其他字符串的字符串，实施一个O(n)查找数据结构的设计是非常记忆高效的。 Redis的hase类型就是使用这种由小数量元素组成的数据结构，转换为一个哈希表。鉴于很多次Redis hase是用来表示对象组成的一些字段，这是一种在内存使用上很大的成功。它的zipmap的格式为：&...
使用systemctl命令启动redis报错redis.service - Redis persistent key-value database
06-09
ExecStart=/usr/local/bin/redis-server /etc/redis/redis.conf ExecStop=/usr/local/bin/redis-cli shutdown Restart=always [Install] WantedBy=multi-user.target ``` 4. 如果以上内容正确无误，保存并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值