【Redis】7.BigMap与HyperLogLog

1. 什么是BigMap

BIgMap是一种实现对位的操作的数据结构，但是其实它本身并不是数据结构，底层其实是字符串，是借助字符串进行位操作的。

但是BigMap在Redis中使用却和字符串不太一样，可以理解为这是一个以位为单位的数组，数组的每个单元格存放的是1或者0，数组的下标在BitMaps中被称为偏移量。

BigMap在Redis中最大上限是512M，转换为bit则是 2^32个bit位。

---

2. BigMap的相关操作命令

• SETBIT：向指定位置（offset）存入一个0或1
• GETBIT ：获取指定位置（offset）的bit值
• BITCOUNT ：统计BitMap中值为1的bit位的数量
• BITFIELD ：操作（查询、修改、自增）BitMap中bit数组中的指定位置（offset）的值
• BITFIELD_RO ：获取BitMap中bit数组，并以十进制形式返回
• BITOP ：将多个BitMap的结果做位运算（与 、或、异或）
• BITPOS ：查找bit数组中指定范围内第一个0或1出现的位置

---

3. BigMap的用法

BigMap常用于用户进行签到操作，为什么考虑到用BigMap做签到操作的？

这是因为如果将签到记录插入到数据库中的话，假如有1000万个用户，那么每天就要插入1000万条数据库，平均每年签到10次，那么就需要插入1亿条数据，这样就会过度损耗数据库的资源了。

---

3.1 实现签到功能

用BigMap实现签到功能，只需要在Redis中存0和1来代表是否签到，一年下来一个用户也就是300多个字节，大大减少了内存的消耗。

实现签到功能，首先我们用年份＋月份代表这一个月的签到情况。举个栗子，比如sign:202211这个key就代表2022年11月的签到情况。

每次签到就到对应的位上把数字从0变成1，只要对应是1，就表明说明这一天已经签到了，反之则没有签到。

注意：因为这个数组是从0开始的，所以使用当天的天数-1作为下标。

public Result sign() {
    // 1.获取当前登录用户
    Long userId = UserHolder.getUser().getId();
    // 2.获取日期
    LocalDateTime now = LocalDateTime.now();
    // 3.拼接key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = USER_SIGN_KEY + userId + keySuffix;
    // 4.获取今天是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    // 5.写入Redis SETBIT key offset 1
    stringRedisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);
    return Result.ok();
}

---

3.2 实现签到统计

通常，有签到功能，那么自然就会有签到统计的功能，会统计用户连续签到的天数，然后用户连续签到多少多少天的话，就会给用户发放什么什么福利。

那么什么叫用户连续签到天数呢？

从最后一次签到开始向前统计，直到遇到第一次未签到为止，计算总的签到次数，就是连续签到天数。

在程序中实现的逻辑：获得当前这个月的最后一次签到数据，定义一个计数器，然后不停的向前统计，直到获得第一个非0的数字即可，每得到一个非0的数字计数器+1，直到遍历完所有的数据，就可以获得当前月的签到总天数了

如何得到本月到今天为止的所有签到数据？

BITFIELD key GET u[dayOfMonth] 0

假设今天是10号，那么我们就可以从当前月的第一天开始，获得到当前这一天的位数，是10号，那么就是10位，去拿这段时间的数据，就能拿到所有的数据了，那么这10天里边签到了多少次呢？统计有多少个1即可。

如何从后向前遍历每个bit位？

bitmap返回的数据是10进制，假如说返回一个数字8，那么我哪儿知道到底哪些是0，哪些是1呢？我们只需要让得到的10进制数字和1做与运算就可以了，因为1只有遇见1 才是1，其他数字都是0 ，我们把签到结果和1进行与操作，每与一次，就把签到结果向右移动一位，依次内推，我们就能完成逐个遍历的效果了。

什么是与运算呢？

可以参考【作者：东西方集大成者】位与：一个数&1的结果

public Result signCount() {
    // 1.获取当前登录用户
    Long userId = UserHolder.getUser().getId();
    // 2.获取日期
    LocalDateTime now = LocalDateTime.now();
    // 3.拼接key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = USER_SIGN_KEY + userId + keySuffix;
    // 4.获取今天是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    // 5.获取本月截止今天为止的所有的签到记录，返回的是一个十进制的数字 BITFIELD sign:5:202203 GET u14 0
    List<Long> result = stringRedisTemplate.opsForValue().bitField(
            key,
            BitFieldSubCommands.create()
                    .get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth)).valueAt(0)
    );
    if (result == null || result.isEmpty()) {
        // 没有任何签到结果
        return Result.ok(0);
    }
    Long num = result.get (0);
    if (num == null || num == 0) {
        return Result.ok(0);
    }
    // 6.循环遍历
    int count = 0;
    while (true) {
        // 6.1.让这个数字与1做与运算，得到数字的最后一个bit位  // 判断这个bit位是否为0
        if ((num & 1) == 0) {
            // 如果为0，说明未签到，结束
            break;
        }else {
            // 如果不为0，说明已签到，计数器+1
            count++;
        }
        // 把数字右移一位，抛弃最后一个bit位，继续下一个bit位
        num >>>= 1;
    }
    return Result.ok(count);
}

---

4. 什么是HyperLogLog

Redis中的HyperLogLog是一种基于基数估算的算法，所谓基数估算就是在一批数据中不重复的元素个数有多少个。

基数计数(cardinality counting)，则是指计算一个集合的基数，意即count-discint。 基数计算的场景很广泛，例如计算网站的访问uv，计算网络流量网络包请求header中的源地址的distinct数来作为网络攻击的重要指标。想要实现基数计数最直接想到的方式就是通过字典/HashSet，每条数据流入后直接保存相应的key，最后统一次集合的size就得到集合的基数。但是，这种方法的空间复杂度很高，在面对大数据的场景下做这样的统计代价很高。在近几十年有学者提出了很多基数估算的算法，在容许一定的误差的情况下，基于统计概率进行估算，本文的HyperLogLog就是一种基于基数估算的算法实现了不保存数据却可以实现去重计数。

在网站中，通常有以下两个概念：

• UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。
• PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。

PV因为可以是重复的，所以实现起来比较简单。

但是UV是不可重复的，因此实现起来既复杂又费内存。假如是亿万级别的网站，存储这些信息是相当耗内存的。

因此，HyperLogLog的出现就很好地解决这一问题。

Redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指！作为代价，其测量结果是概率性的，有小于0.81％的误差。不过对于UV统计来说，这完全可以忽略。

指令	作用
pfadd key element [element …]	能把键值对添加到HyperLogLog对象中，添加后即可进行基数统计
pfcount key [key …]	可以查看一个或多个键的基数，格式如下：
pfmerge destkey sourcekey [sourcekey …]	能把多个HyperLogLog合并成一个

---

4.1实现UV统计

这里模拟百万用户访问一个网页。

程序中，每1000个用户，就往redis中添加到HyperLogLog对象

@Test
void testHyperLogLog() {
    String[] values = new String[1000];
    int j = 0;
    for (int i = 0; i < 1000000; i++) {
        j = i % 1000;
        values[j] = "user_" + i;
        if(j == 999){
            // 发送到Redis
            stringRedisTemplate.opsForHyperLogLog().add("hl2", values);
        }
    }
    // 统计数量
    Long count = stringRedisTemplate.opsForHyperLogLog().size("hl2");
    System.out.println("count = " + count);
}

最后统计结果，发现出现一点误差，但是影响不大。

---

参考：

• 黑马程序员Redis入门到实战教程，深度透析redis底层原理+redis分布式锁+企业解决方案+黑马点评实战项目
• HyperLogLog相关命令_别团等shy哥发育的博客-CSDN博客_hyperloglog命令
• Redis中的HyperLogLog_奔跑的码农_的博客-CSDN博客

---