Redis源码分析——intset 整数集合

• Redis源码：5.0.5
• 文件：intset.h intset.c

整数集合(intset)概念

整数集合(intset)是集合键的底层实现之一，当一个集合只包含整数值元素，并且这个集合的元素数量不多时，Redis就会使用整数集合作为集合键的底层实现。

• intset保存的元素类型有三种：int16_t, int32_t, int64_t。
• 元素不能重复、有序

intset结构体

typedef struct intset {
    //编码方式
    uint32_t encoding;
    //集合包含的元素数量
    uint32_t length;
    //保存元素的数组 int8_t和char类型是相同的，相当于用char类型的数组来保存三个不同类型的值
    int8_t contents[];
} intset;

函数解析(将函数的流程详细的写到了注释里)

• 我们就按照intset.c文件的顺序来解析一下函数

//确定该数据需要的编码方式
static uint8_t _intsetValueEncoding(int64_t v) {
   if (v < INT32_MIN || v > INT32_MAX)
       return INTSET_ENC_INT64;
   else if (v < INT16_MIN || v > INT16_MAX)
       return INTSET_ENC_INT32;
   else
       return INTSET_ENC_INT16;
}

//返回pos位置的值
static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
   int64_t v64;
   int32_t v32;
   int16_t v16;
   //根据编码规则来复制pos位置上的值 用memcpy函数来实现，然后通过判断机器大小端来最终得到数值
   if (enc == INTSET_ENC_INT64) {
       memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64));
       
       //该函数判断当前机器大小端来决定编码顺序
       memrev64ifbe(&v64);
       return v64;
   } else if (enc == INTSET_ENC_INT32) {
       memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
       memrev32ifbe(&v32);
       return v32;
   } else {
       memcpy(&v16,((int16_t*)is->contents)+pos,sizeof(v16));
       memrev16ifbe(&v16);
       return v16;
   }
}
//这个函数相当于对上一个函数进行了包装
static int64_t _intsetGet(intset *is, int pos) {
   return _intsetGetEncoded(is,pos,intrev32ifbe(is->encoding));
}

//给pos位置上赋值
static void _intsetSet(intset *is, int pos, int64_t value) {
   uint32_t encoding = intrev32ifbe(is->encoding);

   if (encoding == INTSET_ENC_INT64) {
       ((int64_t*)is->contents)[pos] = value;
       memrev64ifbe(((int64_t*)is->contents)+pos);
   } else if (encoding == INTSET_ENC_INT32) {
       ((int32_t*)is->contents)[pos] = value;
       memrev32ifbe(((int32_t*)is->contents)+pos);
   } else {
       ((int16_t*)is->contents)[pos] = value;
       memrev16ifbe(((int16_t*)is->contents)+pos);
   }
}

上述就是一些功能性函数，下面我们来看创建查找插入删除等函数。

1.创建函数

/* Create an empty intset. */
intset *intsetNew(void) {
    intset *is = zmalloc(sizeof(intset));
    //先将编码规则设置为最小的
    is->encoding = intrev32ifbe(INTSET_ENC_INT16);
    is->length = 0;
    return is;
}

2.查找函数(二分查找)

static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
    int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
    int64_t cur = -1;

    /* The value can never be found when the set is empty */
    if (intrev32ifbe(is->length) == 0) {
        if (pos) *pos = 0;
        return 0;
    }
    //查找的值比最大值大或者比最小值小则return 0; 
    else {
        /* Check for the case where we know we cannot find the value,
         * but do know the insert position. */
        //_intsetGet函数在上文中有讲解（就是取pos位置的值）
        if (value > _intsetGet(is,max)) {
            if (pos) *pos = intrev32ifbe(is->length);
            return 0;
        } else if (value < _intsetGet(is,0)) {
            if (pos) *pos = 0;
            return 0;
        }
    }
    //二分查找
    while(max >= min) {
        mid = ((unsigned int)min + (unsigned int)max) >> 1;
        cur = _intsetGet(is,mid);
        if (value > cur) {
            min = mid+1;
        } else if (value < cur) {
            max = mid-1;
        } else {
            break;
        }
    }
    //返回结果
    if (value == cur) {
        if (pos) *pos = mid;
        return 1;
    } else {
        if (pos) *pos = min;
        return 0;
    }
}

/* Determine whether a value belongs to this set */
//对用户可见的函数
uint8_t intsetFind(intset *is, int64_t value) {
    uint8_t valenc = _intsetValueEncoding(value);
    return valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,NULL);
}

3.插入函数
先看对用户可见的intsetAdd函数

/* Insert an integer in the intset */
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
    //获取插入value所需要的编码
    uint8_t valenc = _intsetValueEncoding(value);
    uint32_t pos;
    if (success) *success = 1;

    
    //如果新传入的元素编码规则大于intset的编码，则需要更新intset;
    //否则直接插入。
    if (valenc > intrev32ifbe(is->encoding)) {
        /* This always succeeds, so we don't need to curry *success. */
        //这个函数紧接着就会讲。现在只需要知道它是用来当value的编码值大于intset编码时，要去执行的函数
        return intsetUpgradeAndAdd(is,value);
    } else {
        /* Abort if the value is already present in the set.
         * This call will populate "pos" with the right position to insert
         * the value when it cannot be found. */

        //进行查找，如果intset中有相同的元素，则将success置为0，然后返回。
        if (intsetSearch(is,value,&pos)) {
            if (success) *success = 0;
            return is;
        }
        //Resize 
        is = intsetResize(is,intrev32ifbe(is->length)+1);
        //如果要插入的pos位置小于length，则调用intsetMoveTail进行位置变更
        if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
    }
    //把value写到pos位置上
    _intsetSet(is,pos,value);
    //将length+1
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

intsetUpgradeAndAdd函数

static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
    //当前intset的编码规则
    uint8_t curenc = intrev32ifbe(is->encoding);
    //新的编码规则
    uint8_t newenc = _intsetValueEncoding(value);
    //intset中元素的总数
    int length = intrev32ifbe(is->length);
    int prepend = value < 0 ? 1 : 0;

    /* First set new encoding and resize */
    //设置新的编码规则
    is->encoding = intrev32ifbe(newenc);
    //扩容
    is = intsetResize(is,intrev32ifbe(is->length)+1);

    
    //重新将元素根据新的编码规则插入到intset中
    while(length--)
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));

    /* Set the value at the beginning or the end. */
    if (prepend)
        _intsetSet(is,0,value);
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

static intset *intsetResize(intset *is, uint32_t len) {
    uint32_t size = len*intrev32ifbe(is->encoding);
    is = zrealloc(is,sizeof(intset)+size);
    return is;
}

4.删除函数

/* Delete integer from intset */
intset *intsetRemove(intset *is, int64_t value, int *success) {
    uint8_t valenc = _intsetValueEncoding(value);
    uint32_t pos;
    if (success) *success = 0;

    if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {
        uint32_t len = intrev32ifbe(is->length);

        /* We know we can delete */
        if (success) *success = 1;

        /* Overwrite value with tail and update length */
        if (pos < (len-1)) intsetMoveTail(is,pos+1,pos);
        is = intsetResize(is,len-1);
        is->length = intrev32ifbe(len-1);
    }
    return is;
}

总结

• 阅读完源码我们发现只有升级操作而没有降级操作，所以当encode升级之后，就会一直保持该编码状态。

• intset整数集为什么就向我们开头说的适合集合元素数量不多？
  我的观点：因为从插入中我们就不难看到每一次插入都要申请一段空间(耗时)，并且当元素从小类型增长到大类型还需要将所有元素进行重新插入，如果元素很多，那这个时间消耗是很大的。

• 阅读源码可以更好地了解内部实现，更好地知道性能的优劣。