【Redis源码】位图SETBIT、BITCOUNT（九）

最新推荐文章于 2022-11-03 11:34:03 发布
最新推荐文章于 2022-11-03 11:34:03 发布
阅读量773 收藏
点赞数
分类专栏： Redis C++ 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/byxiaoyuonly/article/details/104305349
版权
C++ 同时被 2 个专栏收录
32 篇文章 6 订阅
订阅专栏
Redis
20 篇文章 3 订阅
订阅专栏

前言：

 

位图并不是一个特殊的数据结构，位图其实就是一个字符串，位图这种结构占用空间特别小。如果是数亿以上的用户如果存储活跃，如果是用key/value去存储每个节点都需要数G去存储，存储是很大问题。如果换做位图去存储则可以大大节约空间,不过适应于用户ID连续性的。除此之外也可以用作比如说点赞的存储。

 

redis版本：4.0.0

 

（一）命令解析

命令原形

命令

备注

setbit key offset value

setbit name 0 1

设置name键值偏移位置0的值为1

getbit key offset

gebit name 0

获取name键值偏移位置0的值

bitcount key [start end]

bitcount name

统计name键值为1的总数

setbit存储解析：

 

1）上图中操作setbit bitstr 0 1和setbit bitstr 7 1其实只占用1个字节，创建sds创建byte+1多加了一个字节。所以看到是2个字节。

2) 上图中操作setbit bitstr 25 1此时的byte等于4个字节，多加一个。所以是5个字节。

3) byte计算形式等于 offset / 8 。这个byte其实是计算存储到那个数组字节中。1个字节=8bit

4）计算存储在哪个bit里， (offset % 8 ) + 1。

 

如图：

（二）setbit源码解析

 

setbit命令，bitops.c中：

void setbitCommand(client *c) {
    robj *o;
    char *err = "bit is not an integer or out of range";
    size_t bitoffset;
    ssize_t byte, bit;
    int byteval, bitval;
    long on;

    if (getBitOffsetFromArgument(c,c->argv[2],&bitoffset,0,0) != C_OK)   //获得offset偏移,字符串有一个512MB的限制
        return;

    if (getLongFromObjectOrReply(c,c->argv[3],&on,err) != C_OK)        //获得值
        return;

    /* 当前值只能是1和0 */
    if (on & ~1) {
        addReplyError(c,err);
        return;
    }

    if ((o = lookupStringForBitCommand(c,bitoffset)) == NULL) return;   //查找或者创建字符串sds或扩容

    /* Get current values */
    byte = bitoffset >> 3;    //btye = bitoffset / 8 计算字节位置
    byteval = ((uint8_t*)o->ptr)[byte];  //获得存储到字节
    
    /*
    假设bitoffset=25。当前（1 << (7 - (bitoffset & 0x7))）= 64
    bit = 64对应二进制 = 0100 0000 
    bit用于做位运算
    */
    bit = 7 - (bitoffset & 0x7);          
    bitval = byteval & (1 << bit);       
    
    /* Update byte with new bit value and return original value */
    byteval &= ~(1 << bit);
    byteval |= ((on & 0x1) << bit);
    ((uint8_t*)o->ptr)[byte] = byteval;
    signalModifiedKey(c->db,c->argv[1]);
    notifyKeyspaceEvent(NOTIFY_STRING,"setbit",c->argv[1],c->db->id);
    server.dirty++;
    addReply(c, bitval ? shared.cone : shared.czero);
}

获得offset偏移

int getBitOffsetFromArgument(client *c, robj *o, size_t *offset, int hash, int bits) {
    long long loffset;
    char *err = "bit offset is not an integer or out of range";
    char *p = o->ptr;
    size_t plen = sdslen(p);
    int usehash = 0;

    /* Handle #<offset> form. */
    if (p[0] == '#' && hash && bits > 0) usehash = 1;

    if (string2ll(p+usehash,plen-usehash,&loffset) == 0) {
        addReplyError(c,err);
        return C_ERR;
    }

    /* Adjust the offset by 'bits' for #<offset> form. */
    if (usehash) loffset *= bits;

    /* 512MB字符串限制，不能超过 */
    if ((loffset < 0) || ((unsigned long long)loffset >> 3) >= (512*1024*1024))
    {
        addReplyError(c,err);
        return C_ERR;
    }

    *offset = (size_t)loffset;
    return C_OK;
}

查找或者创建字符串sds或扩容函数，bitops.c中：

robj *lookupStringForBitCommand(client *c, size_t maxbit) {
    size_t byte = maxbit >> 3;   //btye = bitoffset / 8 计算字节位置
    robj *o = lookupKeyWrite(c->db,c->argv[1]);

    if (o == NULL) {
        o = createObject(OBJ_STRING,sdsnewlen(NULL, byte+1));  //创建时多创建一个字节
        dbAdd(c->db,c->argv[1],o);
    } else {
        if (checkType(c,o,OBJ_STRING)) return NULL;  //检测不是字符串类型返回
        o = dbUnshareStringValue(c->db,c->argv[1],o); //获得robj对象
        o->ptr = sdsgrowzero(o->ptr,byte+1);  //内部使用了sdsMakeRoomFor重新计算sds字符串长度
    }
    return o;
}

 

（三）理解variable-precision SWAR算法

 

统计一个位数组中非0位的数量，数学上称作：”Hanmming Weight“(汉明重量)。最高的是variable-precision SWAR算法，可以在常数时间内计算出多个字节的非0数目。

十六进制

二进制

备注

0x55555555

0101 0101 0101 0101 0101 0101 0101 0101

bit的奇数为1，偶数为0

0x33333333

0011 0011 0011 0011 0011 0011 0011 0011

每两位二进制为两位1

0x0F0F0F0F

0000 1111 0000 1111 0000 1111 0000 1111

每四位二进制为四位1

0x01010101

0000 0001 0000 0001 0000 0001 0000 0001

每1个字节最后一位都是1

 

swar函数：

int swar(uint32_t i)
{
    //计算每2位二进制数中1的个数
    i = ( i & 0x55555555) + ((i >> 1) & 0x55555555);
    //计算每4位二进制数中1的个数
    i = (i & 0x33333333) + ((i >> 2) & 0x33333333);
    //计算每8位二进制数中1的个数
    i = (i & 0x0F0F0F0F) + ((i >> 4) & 0x0F0F0F0F);
    //将每8位二进制数中1的个数和相加，并移至最低位8位
    i = (i * 0x01010101) >> 24;
    return i;
}

1）第一次计算

 

通过 ( i & 0x55555555) + ((i >> 1) & 0x55555555)计算后所得0x51618294，( i & 0x55555555) 得到每两位奇数的1的个数，而((i >> 1) & 0x55555555)在每两位上得到偶数的1个数。二者相加得到的就是每两位上1的个数。

每两位的取值范围二进制： 01 、10、11。其实就是1、2、3。

 

2）第二次计算

 

通过 (i & 0x33333333) + ((i >> 2) & 0x33333333)计算后所得0x21312231。计算每4位的1的个数。

 

 

3）第三次计算

 

通过 (i & 0x0F0F0F0F) + ((i >> 2) & 0x0F0F0F0F)计算后所得0x3040404。

计算每8位的1的个数。

 

 

4）第四次计算

 

0x3040404 * 0x0101010计算所得其实是一个long类型的数字0x3070b0f0c0804。但是由于uint32_t只占四位。多余部分会被移除所以只剩下0x0f0c0804，而0x0f0c0804对应的二进制是00001111 00001100 00001000 00000100 。右移动24位之后剩下00001111，而00001111对应的就是15。

 

 

（四）bitcount源码解析

 

bitcount命令

void bitcountCommand(client *c) {
    robj *o;
    long start, end, strlen;
    unsigned char *p;
    char llbuf[LONG_STR_SIZE];

    。。。 省略
    
    /* Precondition: end >= 0 && end < strlen, so the only condition where
     * zero can be returned is: start > end. */
    if (start > end) {
        addReply(c,shared.czero);
    } else {
        long bytes = end-start+1;

        addReplyLongLong(c,redisPopcount(p+start,bytes)); //统计字节数组中的1数量
    }
}

统计字节数组中的1数量函数

size_t redisPopcount(void *s, long count) {
    size_t bits = 0;
    unsigned char *p = s;
    uint32_t *p4;
    /**
    预先生成对应的bit表，因为一个字节非负数是可以是0～255个数字。所以生成了一个256数组。
    比如说0对应的二进制一个1都没有，bitsinbyte[0]则为0
    255对应二进制全是1，bitsinbyte[255]则为8
    */
    static const unsigned char bitsinbyte[256] = {0,1,1,2,1,2,2,3,1,2,2,3,2,3,3,4,1,2,2,3,2,3,3,4,2,3,3,4,3,4,4,5,1,2,2,3,2,3,3,4,2,3,3,4,3,4,4,5,2,3,3,4,3,4,4,5,3,4,4,5,4,5,5,6,1,2,2,3,2,3,3,4,2,3,3,4,3,4,4,5,2,3,3,4,3,4,4,5,3,4,4,5,4,5,5,6,2,3,3,4,3,4,4,5,3,4,4,5,4,5,5,6,3,4,4,5,4,5,5,6,4,5,5,6,5,6,6,7,1,2,2,3,2,3,3,4,2,3,3,4,3,4,4,5,2,3,3,4,3,4,4,5,3,4,4,5,4,5,5,6,2,3,3,4,3,4,4,5,3,4,4,5,4,5,5,6,3,4,4,5,4,5,5,6,4,5,5,6,5,6,6,7,2,3,3,4,3,4,4,5,3,4,4,5,4,5,5,6,3,4,4,5,4,5,5,6,4,5,5,6,5,6,6,7,3,4,4,5,4,5,5,6,4,5,5,6,5,6,6,7,4,5,5,6,5,6,6,7,5,6,6,7,6,7,7,8};

    /* 计算对齐，以4字节对齐。多余部分先计算到bits中 */
    while((unsigned long)p & 3 && count) {
        bits += bitsinbyte[*p++];
        count--;  //减少统计字节数
    }

    /* 
    开始用variable-precision SWAR算法计算“1”的个数,
    计算以 28 字节宽度统计，节约计算时间
     */
    p4 = (uint32_t*)p;
    while(count>=28) { //统计字节 >= 28
        uint32_t aux1, aux2, aux3, aux4, aux5, aux6, aux7;

        aux1 = *p4++;
        aux2 = *p4++;
        aux3 = *p4++;
        aux4 = *p4++;
        aux5 = *p4++;
        aux6 = *p4++;
        aux7 = *p4++;
        count -= 28;

        aux1 = aux1 - ((aux1 >> 1) & 0x55555555);  //第一步
        aux1 = (aux1 & 0x33333333) + ((aux1 >> 2) & 0x33333333); //第二步
        aux2 = aux2 - ((aux2 >> 1) & 0x55555555);
        aux2 = (aux2 & 0x33333333) + ((aux2 >> 2) & 0x33333333);
        aux3 = aux3 - ((aux3 >> 1) & 0x55555555);
        aux3 = (aux3 & 0x33333333) + ((aux3 >> 2) & 0x33333333);
        aux4 = aux4 - ((aux4 >> 1) & 0x55555555);
        aux4 = (aux4 & 0x33333333) + ((aux4 >> 2) & 0x33333333);
        aux5 = aux5 - ((aux5 >> 1) & 0x55555555);
        aux5 = (aux5 & 0x33333333) + ((aux5 >> 2) & 0x33333333);
        aux6 = aux6 - ((aux6 >> 1) & 0x55555555);
        aux6 = (aux6 & 0x33333333) + ((aux6 >> 2) & 0x33333333);
        aux7 = aux7 - ((aux7 >> 1) & 0x55555555);
        aux7 = (aux7 & 0x33333333) + ((aux7 >> 2) & 0x33333333);
        bits += ((((aux1 + (aux1 >> 4)) & 0x0F0F0F0F) +
                    ((aux2 + (aux2 >> 4)) & 0x0F0F0F0F) +
                    ((aux3 + (aux3 >> 4)) & 0x0F0F0F0F) +
                    ((aux4 + (aux4 >> 4)) & 0x0F0F0F0F) +
                    ((aux5 + (aux5 >> 4)) & 0x0F0F0F0F) +
                    ((aux6 + (aux6 >> 4)) & 0x0F0F0F0F) +
                    ((aux7 + (aux7 >> 4)) & 0x0F0F0F0F))* 0x01010101) >> 24; //第三步
    }
    
    /* 计算剩余部分字节 */
    p = (unsigned char*)p4;
    while(count--) bits += bitsinbyte[*p++];
    return bits;
}

 

总结:

 

1) 位图适合解决大数据存储减少存储资源。

2) setbit是通过sds字符串存储，是按照位存储。

3）bitcount采用SWAR算法，其实还采用了bitsinbyte预生成数组去减少计算开销。

4)setbit的最大限制是512MB

 

c-rain
关注
专栏目录
redis源码资源下载
05-24
Redis（Remote Dictionary Server），即远程字典服务，是一个开源的、高性能的、基于内存的Key-Value数据库，它使用ANSI C语言编写，支持网络，并提供了多种语言的API。Redis以其丰富的数据结构、高性能、持久化特性...
Redis源码之BitMap
Java搜索工程技术栈
03-01 278
本文在最后讲解了BitMap对腾讯面试题的解决方案，并基于BitMap实现了仿GitHub提交次数的日历图，希望各位看官看的开心😄 1.位图简介 如果我们需要记录某一用户在一年中每天是否有登录我们的系统这一需求该如何完成呢？如果使用KV存储，每个用户需要记录365个，当用户量上亿时，这所需要的存储空间是惊人的。 Redis 为我们提供了位图这一数据结构，每个用户每天的登录记录只占据一位，365天就是365位，仅仅需要46字节就可存储，极大地节约了存储空间。 位图数据结构其实并不是一个全新的玩意
解锁新技能《Redis SETBIT用法》
OceanSky的专栏
09-03 837
##### SETBIT语法： ```sh SETBIT key offset value ``` - key：位图的键 - offset：偏移量（0~2^32-1，位图最大512MB），最大偏移量值是4294967295 - value：值0或1
深入分析Linux内核源码——6.3 内存的分配和回收
bytxl的专栏
08-29 2557
6.3 内存的分配和回收    在内存初始化完成以后，内存中就常驻有内核映象（内核代码和数据）。以后，随着用户程序的执行和结束，就需要不断地分配和释放物理页面。内核应该为分配一组连续的页面而建立一种稳定、高效的分配策略。为此，必须解决一个比较重要的内存管理问题，即外碎片问题。频繁地请求和释放不同大小的一组连续页面，必然导致在已分配的内存块中分散许多小块的空闲页面。由此带来的问题是，即使这些小块的
C++语言之字面值常量
nashse的专栏
07-04 524
128u /*unsigned*/ 1024UL/*unsigned long*/ 1L /*long*/
【C/C++学院】0724-堆栈简介/静态区/内存完成篇/多线程
weixin_33946605的博客
07-27 114
【送给在路上的程序员】 对于一个开发者而言，能够胜任系统中任意一个模块的开发是其核心价值的体现。 对于一个架构师而言，掌握各种语言的优势并可以运用到系统中，由此简化系统的开发，是其架构生涯的第一步。 对于一个开发团队而言，能在短期内开发出用户满意的软件系统是起核心竞争力的体现。 每一个程序员都不能固步自封，要多接触新的行业，新的技术领...
redis源码下载
12-20
redis源码学习。redis作为重要的缓存中间件，在大型的网站架构中基本都有身影，想要详细的了解redis，从源码开始学习。
redis-roaring:Redis咆哮的位图
05-24
Redis咆哮的位图 介绍 该项目使用库为Redis实现咆哮位图命令。 根据微基准测试，这些命令可以与Redis的O（1）操作本机位图具有相同的性能，并且O（N）调用的，同时比未压缩的对等方消耗的内存更少（基准测试未决）...
Redis源码解读与项目精品设计实战
07-28
Redis支持多种类型的数据结构，如字符串（strings）、列表（lists）、集合（sets）、有序集合（sorted sets）、哈希表（hashes）、位图（bitmaps）、超日志（hyperloglogs）和地理空间索引（geospatial indexes）。...
Redis 源码学习笔记
weixin_41975177的博客
02-26 415
前言 查看编码命令：OBJECT ENCODING key 判断对象类型：type key 五大数据类型实现原理 String 实现原理 推荐书籍： Redis 设计与实现 推荐博客：https://www.cnblogs.com/ysocean/p/9102811.html#_label0 字符串是Redis最基本的数据类型，不仅所有key都是字符串类型，其它几种数据类型构成的元素也是字符串。注意字符串的长度不能超过512M。 为什么字符串长度不能超过 512M？ // 源码定义（检查字符串长度） s
redis系列，bitmap 命令全解析以及源码赏析
偷懒程序员小彭的博客
11-08 3011
文章目录本人 github 地址前言怎样求一个二进制串里面有多少个1 本人 github 地址 github 地址 里面有注释好的代码，下载下来可以方便阅读。 前言 由于这周工作关系，没有太多事件阅读太多源码，但是项目常常提到一些用到bitmap的场景，这次我们来把redis 的bit操作命令一网打尽 怎样求一个二进制串里面有多少个1 用到下面这个算法，必须为2的次方，如果不为2的次方的话可以通过下面redis这种方式来处理 首先我们举一个8位的数，如 11011000。我们可以用肉眼方式知道结果为4，
Redis中setbit和bitcount的注意细节
会呼吸的鱼
10-29 5929
setbit 可以理解是一个位数组，至于这个数组有多大，redis中bit映射被限制在512MB之内，所以最大是2^32。 也就是在这样一个位数组上存0或者是1 ，可以结合bloomFilter的应用场景理解位数组的用法，将字符串使用一种合适哈希函数映射到不同的bit位上（2^32足够的大，可以满足需求）
12. Redis数据类型--Bitmaps 位图
林胖的专栏
06-15 439
位图不是实际的数据类型，而是在 String 类型上定义的一组面向位的操作。由于字符串是二进制安全 blob，它们的最大长度为 512 MB，因此它们适合设置最​​多 2^32 个不同的位。位操作分为两组：恒定时间单位操作，如将位设置为1或0，或获取其值，以及对位组的操作，例如对给定位范围内的设定位数进行计数（例如，总体计数）。位图的最大优点之一是，在存储信息时，它们通常可以极大地节省空间。例如，在一个系统中，不同的用户由增量用户ID表示，仅使用512MB内存就可以记住40亿用户的一位信息（例如，知道用户是
【Redis】Java Redis Pipeline(管道) 使用示例
m0_45406092的博客
04-22 2769
文章目录概述 概述 一般情况下，大家使用redis去put/get都是先拿到一个jedis实例，然后操作，然后释放连接，这种模式是 请求-响应，请求-响应 这种模式，下一次请求必须得等第一次请求响应回来之后才可以，因为redis是单线程的，按部就班，一步一步来。 而pipeline管道改变了这种请求模式，客户端可以一次发送多个命令，无须等待服务器的返回，请求，请求，请求，响应，响应，响应 这种模式大大减少了影响性能的关键因素-网络往返时间。 package com.test.jedis; import
redis 高级数据类型之 位图（bitmap） 详细介绍
一个火星程序员的专栏
11-03 3504
命令介绍，并展示如何使用位图去实现用户行为记录器、0-1矩阵存储程序以及能够有效地节约内存的整数计数器。
redis bitmap 入门
大数据训练营
05-20 1万+
1.简介 bigmap是通过类似map结构存放0或1(bit 位)作为值,一般用来统计状态.如:日活,是否浏览过某个东西 2.setbit redis 127.0.0.1:6379> help setbit   SETBIT key offset value   summary: Sets or clears the bit at offset in the stri
redis的setbit，getbit，bitcount的使用详解
tqy的博客
03-24 8947
可以先看下这篇文章，https://www.zhihu.com/question/27672245里面一定能解决你的大部分疑惑。 接着，我连上redis服务器。redis-cli -p 6383 (端口号填写自己的) BITCOUNT bit:查找key值为bit的bit位为1的个数 redis 172.16.10.228:22121> BITCOUNT bit (integer) 0 接着使用4
val（ ）函数的用法
热门推荐
xinyu1026的博客
01-07 6万+
val（）函数语法为： i. val（字符表达式） val（）函数的功能为：将一组字符型数据的数字部分转换成相应的数值型数据 val（）函数用法： 1. 例  x = "12 5fdsa DA456"; 那么 val(x)应该返回125 后面的456不能返回来。 val（）函数当识别到非数字，停止读入字符串。即如果字符串内有字母或其他非数字字符，val（）函数只转换第一个 非
深入解析Redis源码：第二部分
"Redis源码分析第二部分" 在Redis源码分析的第二部分，我们将深入理解Redis的核心组件和实现机制。Redis是一个高性能的键值存储系统，它的源代码清晰、结构紧凑，是学习数据库系统设计和C语言编程的绝佳材料。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值