深入解读Redis之数据类型解析-IntSet

最新推荐文章于 2023-07-19 01:04:58 发布
最新推荐文章于 2023-07-19 01:04:58 发布
阅读量416 收藏
点赞数
分类专栏： Sexy-T 文章标签： redis 数据结构 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46428737/article/details/121021652
版权

Redis 源码之数据类型解析-IntSet

当前分析 Redis 版本为6.2，需要注意。

整数集合（IntSet），Redis 用于保存整数值的集合抽象数据结构，可以保存 int16_t、int32_t 或者 int64_t 的整数值，并且集合满足唯一性（集合不包含重复项）和有序性（集合中的元素按照从小到大有序排序）。

基础结构

typedef struct intset { // 整数集合
    // encoding可选值 及其范围
    // INTSET_ENC_INT16 int16_t -2^15(min) ~ 2^16-1(max)
    // INTSET_ENC_INT32 int32_t -2^31 ~ 2^31-1
    // INTSET_ENC_INT64 int64_t -2^63 ~ 2^63-1
    // 在 intset.c 中定义
    // #define INTSET_ENC_INT16 (sizeof(int16_t))
    // #define INTSET_ENC_INT32 (sizeof(int32_t))
    // #define INTSET_ENC_INT64 (sizeof(int64_t))
    uint32_t encoding; // 编码方式，指定contents数组中元素的类型
    uint32_t length; // 集合包含元素数量 contents长度
    int8_t contents[]; // 保存元素的数组 虽然这里类型是int8_t，实际上是看encoding属性
} intset;

私有函数

_intsetValueEncoding

获取指定数值的编码方式。最小为 int16_t。

static uint8_t _intsetValueEncoding(int64_t v) {
    if (v < INT32_MIN || v > INT32_MAX)
        return INTSET_ENC_INT64; // int64_t
    else if (v < INT16_MIN || v > INT16_MAX)
        return INTSET_ENC_INT32; // int32_t
    else
        return INTSET_ENC_INT16; // int16_t
}
_intsetGetEncoded

获取整数集合给定位置处的值，已知编码方式 uint8_t enc。

static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
    // 三个返回值定义
    int64_t v64;
    int32_t v32;
    int16_t v16;

    if (enc == INTSET_ENC_INT64) {
        memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64)); // 直接拷贝
        memrev64ifbe(&v64); // 将指针所指的64位无符号整数从小端数切换到大端数
        return v64;
    } else if (enc == INTSET_ENC_INT32) {
        memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
        memrev32ifbe(&v32); // 32位
        return v32;
    } else {
        memcpy(&v16,((int16_t*)is->contents)+pos,sizeof(v16));
        memrev16ifbe(&v16); // 16位
        return v16;
    }
}
_intsetGet

返回整数集合指定位置的值，编码方式由集合指定 is->encoding （需要调用 intrev32ifbe 对值进行转换，从小端切到大端），然后直接调用 实现 _intsetGetEncoded。

_intsetSet

设置整数集合指定位置的值，编码方式由集合指定。

static void _intsetSet(intset *is, int pos, int64_t value) {
    uint32_t encoding = intrev32ifbe(is->encoding);

    if (encoding == INTSET_ENC_INT64) {
        ((int64_t*)is->contents)[pos] = value;
        memrev64ifbe(((int64_t*)is->contents)+pos); // 大小端切换
    } else if (encoding == INTSET_ENC_INT32) {
        // ...
    } else {
        // ...
    }
}
intsetResize

调整集合大小，采用 zrealloc。当集合元素类型变动时调用？

static intset *intsetResize(intset *is, uint32_t len) {
    uint32_t size = len*intrev32ifbe(is->encoding); // 计算contents长度
    is = zrealloc(is,sizeof(intset)+size); // 集合长度+contents长度 的空间
    return is;
}
intsetSearch

在整数集合中查找整数值。

static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
    // value 给定整数值 *pos 查到的索引，在集合中
    int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
    int64_t cur = -1;

    if (intrev32ifbe(is->length) == 0) { // 空集合，自然
        if (pos) *pos = 0;
        return 0;
    } else {
        if (value > _intsetGet(is,max)) { // 大于最大值
            if (pos) *pos = intrev32ifbe(is->length);
            return 0;
        } else if (value < _intsetGet(is,0)) { // 小于最小值
            if (pos) *pos = 0;
            return 0;
        }
    }

    while(max >= min) { // 二分查找
        mid = ((unsigned int)min + (unsigned int)max) >> 1;
        cur = _intsetGet(is,mid);
        if (value > cur) {
            min = mid+1;
        } else if (value < cur) {
            max = mid-1;
        } else {
            break;
        }
    }

    if (value == cur) {
        if (pos) *pos = mid;
        return 1;
    } else { // 未找到 pos 为该插入的位置
        if (pos) *pos = min;
        return 0;
    }
}
intsetUpgradeAndAdd

将整数集合的编码方式升级，并插入给定整数值（该值类型比原集合编码方式高，需要升级处理）。

static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
    uint8_t curenc = intrev32ifbe(is->encoding); // 当前集合编码方式
    uint8_t newenc = _intsetValueEncoding(value); // 给定值的编码方式
    int length = intrev32ifbe(is->length); // 集合长度
    int prepend = value < 0 ? 1 : 0; // 判断在前还是在后,该值肯定比集合所有现有值要大或小

    // 设置集合新编码方式,并调整集合大小 intsetResize
    // length+1 1为新元素 value的空间
    is->encoding = intrev32ifbe(newenc); // 设置集合
    is = intsetResize(is,intrev32ifbe(is->length)+1);

    // 升级原则(不需要重写值)
    // 需要添加的元素往往在头或尾,所以我们需要确保contents的头或尾有一个空空间即可
    while(length--) // 但从这里来看,是重写了吧(get -> set)? 反向
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));

    // 在头或尾设置值
    if (prepend)
        _intsetSet(is,0,value);
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1); // 更新集合长度
    return is;
}
intsetMoveTail

将整数集合中指定位置 from 以及之后的数据移到 指定位置 to。整体后移。to-from 中间位置的元素不是存在重复？

static void intsetMoveTail(intset *is, uint32_t from, uint32_t to) {
    void *src, *dst;
    uint32_t bytes = intrev32ifbe(is->length)-from;
    uint32_t encoding = intrev32ifbe(is->encoding);

    if (encoding == INTSET_ENC_INT64) {
        src = (int64_t*)is->contents+from; // 源位置
        dst = (int64_t*)is->contents+to; // 目标位置
        bytes *= sizeof(int64_t);
    } else if (encoding == INTSET_ENC_INT32) {
        // ...
    } else {
        // ...
    }
    memmove(dst,src,bytes);
}

接口函数

intsetNew

创建一个新的整数集合。编码方式默认为 INTSET_ENC_INT16。

intset *intsetNew(void) {
    intset *is = zmalloc(sizeof(intset)); // 分配空间
    is->encoding = intrev32ifbe(INTSET_ENC_INT16); // 指定默认编码方式
    is->length = 0; // 默认长度
    return is;
}
intsetAdd

向整数集合中添加一个整数。

intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
    uint8_t valenc = _intsetValueEncoding(value); // 计算整数的编码方式
    uint32_t pos;
    if (success) *success = 1; // 重置初始值？

    // 检测是否有必要升级编码。
    if (valenc > intrev32ifbe(is->encoding)) {
        // 该操作总是成功的，所以不需要更新 *success
        return intsetUpgradeAndAdd(is,value);
    } else {
        // 检测该值是否已在集合中存在
        // 该操作会定位在未找到该元素时需要插入的正确位置
        if (intsetSearch(is,value,&pos)) {
            if (success) *success = 0;
            return is;
        }

        is = intsetResize(is,intrev32ifbe(is->length)+1); // 更新大小
        if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1); // 整体后移
    }

    _intsetSet(is,pos,value); // 更新pos处的值
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1); // 更新长度
    return is;
}
intsetRemove

从整数集合中移除一个整数。

intset *intsetRemove(intset *is, int64_t value, int *success) {
    uint8_t valenc = _intsetValueEncoding(value); // 计算需要移除值的编码方式
    uint32_t pos;
    if (success) *success = 0; 
	// 移除值的编码在集合编码方式之内 且在该集合内
    if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {
        uint32_t len = intrev32ifbe(is->length);

        // 可移除
        if (success) *success = 1;

        // 从尾重写值。整体前移
        if (pos < (len-1)) intsetMoveTail(is,pos+1,pos); 
        is = intsetResize(is,len-1); // 调整和更新长度
        is->length = intrev32ifbe(len-1);
    }
    return is;
}
intsetFind

判断某值在整数集合中是否存在。

uint8_t intsetFind(intset *is, int64_t value) {
    uint8_t valenc = _intsetValueEncoding(value);
    return valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,NULL);
}
intsetRandom

随机返回一个元素。

int64_t intsetRandom(intset *is) {
    uint32_t len = intrev32ifbe(is->length);
    assert(len); // 避免在损坏的整数集有效负载上被零除
    return _intsetGet(is,rand()%len);
}
intsetGet

获取指定索引处的整数值。

uint8_t intsetGet(intset *is, uint32_t pos, int64_t *value) {
    if (pos < intrev32ifbe(is->length)) { // 判断索引在正常范围内
        *value = _intsetGet(is,pos);
        return 1;
    }
    return 0;
}
intsetLen

获取整数集合的长度。

uint32_t intsetLen(const intset *is) {
    return intrev32ifbe(is->length);
}
intsetBlobLen

计算整数集合的字节大小。

size_t intsetBlobLen(intset *is) {
    return sizeof(intset)+(size_t)intrev32ifbe(is->length)*intrev32ifbe(is->encoding);
}
intsetValidateIntegrity

验证整数集合结构的完整性。

int intsetValidateIntegrity(const unsigned char *p, size_t size, int deep) {
    // deep 是否深度验证
    // 0 只验证头部结构
    // 1 需要验证集合的唯一性和有序性
    intset *is = (intset *)p;
    if (size < sizeof(*is)) // 检测头部大小
        return 0;

    uint32_t encoding = intrev32ifbe(is->encoding);

    size_t record_size;
    if (encoding == INTSET_ENC_INT64) {
        record_size = INTSET_ENC_INT64;
    } else if (encoding == INTSET_ENC_INT32) {
        record_size = INTSET_ENC_INT32;
    } else if (encoding == INTSET_ENC_INT16){
        record_size = INTSET_ENC_INT16;
    } else { // 非标准编码方式
        return 0;
    }

    uint32_t count = intrev32ifbe(is->length);
    if (sizeof(*is) + count*record_size != size) // 整体结构大小检测
        return 0;

    if (count==0) // 验证空集合
        return 0;

    if (!deep) // 不需要深度验证，这里即可返回成功标识
        return 1;

    // 检测唯一性和有序性
    int64_t prev = _intsetGet(is,0);
    for (uint32_t i=1; i<count; i++) {
        int64_t cur = _intsetGet(is,i);
        if (cur <= prev)
            return 0;
        prev = cur;
    }

    return 1;
}

本章小结

该数据结构需要关注的是升级，这一策略，提高了集合的灵活性，并且节约内存。将不同整型分类放置到对应的整数集合。必要时会触发升级，从范围小的升到范围大的类型。不过，没有降级的策略。

岚之晴川
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis中数据类型解析(一)
qq_38937658的博客
12-10 211
Redis基本数据类型 注意：Redis中key的类型始终都是string，而value的数据类型才需要加以区分 这篇博客主要是简单的介绍一下Redis中存在的数据类型，后续的文章会给写具体的细节 string 使用key作为唯一字符串来获取对应的value，redis中的string是动态字符串，是可以修改的，分配给字符串内存的时候，会额外分配一部分内存，防止频繁分配，当字符串小于1MB的时候，...
Redis中的整数集合（IntSet）
weixin_62773839的博客
06-01 429
Redis会确保Intset中的元素唯一、有序具备类型升级机制，可以节省内存空间底层采用二分查找方式来查询。
redis数据结构之intset的实例详解
12-16
redis数据结构之intset的实例详解  在redis中，intset主要用于保存整数值，由于其底层是使用数组来保存数据的，因而当对集合进行数据添加时需要对集合进行扩容和迁移操作，因而也只有在数据量不大时redis才使用该数据结构来保存整数集合。其具体的底层数据结构如下： typedef struct intset { // 编码方式 uint32_t encoding; // 集合包含的元素数量 uint32_t length; // 保存元素的数组 int8_t contents[]; } intset;       整数集合主要有三个属性：encoding
Redis数据结构之——intset
weixin_46935110的博客
11-17 1714
Redis数据结构之——intset
Redis 的五种基本数据类型
热门推荐
dingd1234的博客
04-08 1万+
一、String 类型 1.1 介绍 String 类型，也就是字符串类型，是 Redis 中最简单的存储类型。其 value 是字符串，不过根据字符串的格式不同，又可以分为 3 类： string：普通字符串 int：整数类型，可以做自增、自减操作 float：浮点类型，可以做自增、自减操作 不管是哪种格式，底层都是字节数组形式存储，只不过是编码方式不同。字符串类型的最大空间不能超过 512M。 key value msg hello world num 10 score 92
Redis 数据结构——intset
Hanyinh的博客
08-07 1281
一、intset 介绍 intset，也就是整数集合，是 set 的底层实现之一，当一个集合只包含整数值元素，并且这个集合的元素数量不多时，Redis 就会使用 intset 作为 set 的底层实现。 它的查找是 O(log n) 的，插入和删除都是 O(n) 的。但是由于存储元素相对较少的时候，O(log n) 和 O(n) 差距不是很大，但是用 Redis 的这种 intset，相比红黑树和哈希表来说，可以大大减少内存。 所以，Redis 的 整数集合 intset 的存在主要还是为了节省内存。 ​
【高阶篇】3.6 Redis之底层数据结构整数集(IntSet)详解
日拱一卒无有尽，功不唐捐终入海
06-14 1334
上个篇章我们从源码层了解字典是一种以键值对（key-value）形式存储数据的数据结构。在 Redis 中，字典使用哈希表来实现。哈希表是一种以常数时间复杂度 O(1) 进行插入、删除和查找的数据结构。了解到在 Redis 中，字典被广泛应用于实现哈希表和集合等数据结构。本章节，我们详细了解一下Redis底层数据结构整数集（IntSet），它是用于存储整型数据，是一种紧凑的、高效的数据结构，可以用来实现集合等功能。
Redis-7.0.12-Windows-x64
最新发布
08-23
Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 Redis 优势 性能极高 – Redis能读的速度是110000次/s,写的...
redis 免安装 redis客户端 redis-desktop-manager-0.8.8.384
02-16
接下来，关于“redis-desktop-manager-0.8.8.384.exe”文件，这是一个 Redis 客户端工具，名为 Redis Desktop Manager。它提供了一个图形用户界面（GUI），使得用户可以方便地管理 Redis 服务器，包括查看键值、执行...
redis-py-cluster-1.3.5.tar.gz
12-22
Redis是世界上最受欢迎的内存数据存储系统之一，常用于构建高性能、低延迟的数据服务。而`redis-py-cluster`是Python连接Redis集群的一个库，它允许Python开发者方便地与Redis集群进行交互。`redis-py-cluster-1.3.5...
【Redis-01】Redis的五种数据类型
yu_fu_a_bu的博客
07-19 158
【Redis-01】Redis的五种数据类型
Redis3.2源码分析-整数集合intset
weixin_33670713的博客
03-21 191
intset是Redis集合的底层实现之一，当存储整数集合并且数据量较小的情况下Redis会使用intset作为set的底层实现。当数据量较大或者集合元素为字符串时则会使用dict实现set。intset将整数元素按顺序存储在数组里，并通过二分法降低查找元素的时间复杂度。数据量大时，依赖于“查找”的命令（如SISMEMBER）就会由于O(...
Redis intset
jollyjumper的专栏
06-20 1971
Redis intset也非常简单。它是一个有序整数集合，实际上是一个有序数组，查找时二分查找，添加时可能需要内存挪动。唯一不同的是，它的整数类型是变动的，可以支持int16,int32,int64三种，当然用越小的单位越省内存。只有当当前的整数类型存不下更大的整数时，才让整数类型变大。 看结构就了解了: typedef struct intset {   uint32_t encoding
redis 常见数据类型实现原理
m0_57015193的博客
09-19 704
redis 常用的数据结构有以下五种： - String - List - Hash - Set - Sorted Set 之前简单的介绍了 String 实现原理 SDS，本篇我打算从全局层面一起介绍： 无论什么类型的数据结构，在 Redis 中都可以通过 RedisObject 来表示，该类型主要包含以下三个属性： - type：类型，对应上面提到五种数据类型，如：REDIS_STRING、REDIS_LIST 等等 - encoding：编码格式 - ptr：指针，指向具体的数据类型 Red
redis数据类型-String&&bitmap
qq_37200262的博客
12-19 495
redis-string redis的键值对k-v，有5中数据结构，先看string，上篇文章的help命令在客户端可以使用， help @String APPEND key value summary: Append a value to a key since: 2.0.0 BITCOUNT key [start end] summary: Count set bits in a string since: 2.6.0 BITFIELD key [GET type of
Redis 中的集合类型是怎么实现的？
weixin_33766805的博客
11-23 421
本文是《Redis内部数据结构详解》系列的第七篇。在本文中，我们围绕一个Redis的内部数据结构——intset展开讨论。 Redis里面使用intset是为了实现集合(set)这种对外的数据结构。set结构类似于数学上的集合的概念，它包含的元素无序，且不能重复。Redis里的set结构还实现了基础的集合并、交、差的操作。与Redis对外暴露的其它数据结构类似，set的底层实现，随着元素类型是否是...
Redis - intset （ 整数数组）
一七令
06-16 895
Set是Redis数据类型的一种。集合中元素是唯一的，支持存储最大元素2^64。因为是哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。但是Set除了哈希表之外，还有intset这种实现方式。intset是Redis独特设计的一种数据结构。当需要存储的数据全是正数且元素数量不大情况下，如-2、-1、1、2…Redis首选intset作为实现方式。intset是Set除哈希表外的一种实现方式，当所有数据为正数时候Redis会采用intset。...
redis基础篇——redis常用的数据类型
石灰聪的博客
11-26 448
数据模型 Redis的存储我们叫做key-value存储，或者叫做字典结构。key的最大长度限制是512M，值的限制不同，有的是用长度限制的，有的是用个数限制的。Redis是KV的数据库，Key-Value我们一般会用什么数据结构来存储它？哈希表。Redis的最外层确实是通过hashtable实现的，在Redis里面，这个哈希表怎么实现呢？我们看一下C语言的源码每个键值对都是一个dictEntry，通过指针指向key的存储结构和value的存储结构，而且next存储了指向下一个键值对的指针。 typede
redis-存储结构1
08-03
Redis是一种高性能key-value存储系统，其基本的存储结构包括hash表、字典等。在Redis中，数据存储结构经过精心设计，采用Hash算法来实现快速...通过本文的介绍，读者可以更加深入地了解Redis的内存布局和数据存储方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值