【Redis扩展】Redis两种高级数据结构-HyperLogLog、BitMap

最新推荐文章于 2024-04-30 14:36:02 发布
最新推荐文章于 2024-04-30 14:36:02 发布
阅读量849 收藏 1
点赞数
文章标签： redis 数据结构 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42985872/article/details/130579465
版权
文章介绍了Redis中的HyperLogLog数据类型，它用于基数统计，适用于大量数据时的不重复元素计数，具有低空间占用的特点。同时，文章也讲解了位图（BitMap）数据结构，用于存储布尔值，常见于签到、状态统计等场景。文章提供了Redis原生API及Spring客户端的使用示例，展示如何进行数据添加、统计和合并操作。
摘要由CSDN通过智能技术生成

一、HyperLoglog-基数统计

1. HyperlogLog数据类型特点

  • Redis HyperLogLog 是用来做基数统计的算法，用以完成独立总数的统计
  • HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。
  • 因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。
  • 其底层使用string数据类型
  • 其是不精确的统计算法，标准误差为0.81%

什么是基数
数据集中不重复的元素的个数。

2. 应用场景

  • 网页的访问量（UV）：一个用户多次访问，也只能算作一个人。
    传统实现，存储用户的id,然后每次进行比较。当用户变多之后这种方式及其浪费空间，而我们的目的只是计数，Hyperloglog就能帮助我们利用最小的空间完成。

  • 即如果允许容错或对精度要求没有这么高，那么一定可以使用Hyperloglog !

  • 如果不允许容错，就使用set或者自己的数据类型即可 ！

3. 常用API及使用Spring客户端测试

redis原生API

命令描述
pfadd key element1 [elememt2…]添加指定元素到 HyperLogLog 中
pfcount key [key]返回给定 HyperLogLog 的基数估算值。
pfmerge mergekey sourcekey [sourcekey…]将多个 HyperLogLog 合并为一个 HyperLogLog
# 添加元素和统计个数
127.0.0.1:6379> PFADD myelemx a b c d e f g h i j k # 添加元素
(integer) 1
127.0.0.1:6379> type myelemx # hyperloglog底层使用String
string
127.0.0.1:6379> PFCOUNT myelemx # 估算myelemx的基数
(integer) 11
127.0.0.1:6379> PFADD myelemy i j k z m c b v p q s
(integer) 1
127.0.0.1:6379> PFCOUNT myelemy
(integer) 11

# 合并
127.0.0.1:6379> PFMERGE myelemz myelemx myelemy # 合并myelemx和myelemy 成为myelemz
OK
127.0.0.1:6379> PFCOUNT myelemz # 估算基数
(integer) 17

Spring客户端操作API

opsForHyperLogLog().add(pfKey, i)-添加数据

opsForHyperLogLog().size(pfKey)-统计数据的基数

/**
 * 测试对HyperlogLog的操作
 */
@Test
public void testHyperLogLog() 
    // 添加100 00个不重复的数、100 00个重复的数-共20万个数
    String pfKey = "test:hll:01";
    for (int i = 0; i < 10000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey, i);
    }
    for (int i = 0; i < 10000; i++) {
        int r = (int)(Math.random() * 10000);
        redisTemplate.opsForHyperLogLog().add(pfKey, r);
    }
    // 统计指定key中所有不重复的基数个数
    long size = redisTemplate.opsForHyperLogLog().size(pfKey);
    System.out.println(size);
}

opsForHyperLogLog().union(unionKey, pfKey2, pfKey3, pfKey4) 将pfKey2, pfKey3, pfKey4的数合并到unionKey中

/**
 * 合并数据-并统计合并后的基数
 */
@Test
public void testHyperLogLogUnion() {
    String pfKey2 = "test:hll:02";
    String pfKey3 = "test:hll:03";
    String pfKey4 = "test:hll:04";
    for (int i = 0; i < 10000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey2, i);
    }
    for (int i = 5000; i < 15000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey3, i);
    }
    for (int i = 10000; i < 20000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey4, i);
    }
    // 合并三组数
    String unionKey = "test:hll:union";
    redisTemplate.opsForHyperLogLog().union(unionKey, pfKey2, pfKey3, pfKey4);

    // 统计合并后的基数
    long size = redisTemplate.opsForHyperLogLog().size(unionKey);
    System.out.println(size);
}

二、BitMap-位图

1. BitMap数据结构特点

  • 使用位存储，信息状态只有 0 和 1
    • 可以将其看作Byte数组
    • 可以储存大量连续数据的布尔值

2. 应用场景

  • 签到统计、状态统计

统计用户信息，活跃，不活跃！ 登录 、 未登录！ 打卡，365打卡！ 两个状态的，都可以使用
Bitmaps！

3. 常用API及Spring客户端测试

redis原生API

命令描述
setbit key offset value为指定key的offset位设置值
getbit key offset获取offset位的值
bitcount key [start end]统计字符串被设置为1的bit数，也可以指定统计范围按字节
bitop operration destkey key[key…]对一个或多个保存二进制位的字符串 key 进行位元操作，并将结果保存到 destkey 上。
BITPOS key bit [start] [end]返回字符串里面第一个被设置为1或者0的bit位。start和end只能按字节,不能按位
# 添加数据和获取数据
127.0.0.1:6379> setbit sign 0 1 # 设置sign的第0位为 1 
(integer) 0
127.0.0.1:6379> setbit sign 2 1 # 设置sign的第2位为 1  不设置默认 是0
(integer) 0
127.0.0.1:6379> setbit sign 3 1
(integer) 0
127.0.0.1:6379> setbit sign 5 1
(integer) 0
127.0.0.1:6379> type sign	# 底层也是String类型
string

127.0.0.1:6379> getbit sign 2 # 获取第2位的数值
(integer) 1
127.0.0.1:6379> getbit sign 3
(integer) 1
127.0.0.1:6379> getbit sign 4 # 未设置默认是0-及false
(integer) 0

# 统计数据中为1的个数-即为true的个数
127.0.0.1:6379> BITCOUNT sign # 统计sign中为1的位数
(integer) 4

spring客户端操作API

  • opsForValue().setBit(bitKey, 1, true)- 设置状态
    默认每位的状态为false
  • opsForValue().getBit(bitKey, 0))- 查询状态
  • redisConnection.bitCount(bitKey.getBytes())- 统计状态为true的个数
/**
 * 测试对BitMaps的操作
 * 记录-查询和统计
 */
@Test
public void testBitMap() {
    String bitKey = "test:bit:01";
    // 记录数据状态-默认false
    redisTemplate.opsForValue().setBit(bitKey, 1, true);
    redisTemplate.opsForValue().setBit(bitKey, 4, true);
    redisTemplate.opsForValue().setBit(bitKey, 7, true);

    // 查询
    System.out.println(redisTemplate.opsForValue().getBit(bitKey, 0));
    System.out.println(redisTemplate.opsForValue().getBit(bitKey, 1));
    System.out.println(redisTemplate.opsForValue().getBit(bitKey, 2));

    // 统计
    Object execute = redisTemplate.execute(new RedisCallback() {
        @Override
        public Object doInRedis(RedisConnection redisConnection) throws DataAccessException {
            return redisConnection.bitCount(bitKey.getBytes());
        }
    });

    System.out.println(execute);
}

connection.bitOp()- 位运算

/**
 * OR运算
 * 统计3组数据的布尔值, 并对这3组数据做OR运算.
 */
@Test
public void testBitMapOperation() {
    String bitKey2 = "test:bm:02";
    redisTemplate.opsForValue().setBit(bitKey2, 0, true);
    redisTemplate.opsForValue().setBit(bitKey2, 1, true);
    redisTemplate.opsForValue().setBit(bitKey2, 2, true);

    String bitKey3 = "test:bm:03";
    redisTemplate.opsForValue().setBit(bitKey3, 2, true);
    redisTemplate.opsForValue().setBit(bitKey3, 3, true);
    redisTemplate.opsForValue().setBit(bitKey3, 4, true);

    String bitKey4 = "test:bm:04";
    redisTemplate.opsForValue().setBit(bitKey4, 4, true);
    redisTemplate.opsForValue().setBit(bitKey4, 5, true);
    redisTemplate.opsForValue().setBit(bitKey4, 6, true);

    // 合并处理
    String bitKeyOR = "test:bm:or";
    Object obj = redisTemplate.execute(new RedisCallback() {
        @Override
        public Object doInRedis(RedisConnection connection) throws DataAccessException {
            connection.bitOp(RedisStringCommands.BitOperation.OR,
                    bitKeyOR.getBytes(), bitKey2.getBytes(), bitKey3.getBytes(), bitKey4.getBytes());
            return connection.bitCount(bitKeyOR.getBytes());
        }
    });

    System.out.println(obj);    // 统计的个数

    // 合并后，每位的状态
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 0));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 1));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 2));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 3));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 4));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 5));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 6));
}

在这里插入图片描述

秋装什么
关注
【Redis】Redis高级：GEO&BitMap&HyperLogLog
qq_50675319的博客
09-23 626
GEO、BitMap、HyperLogLog是redis中三种特殊的数据结构，一般用于实现特殊的业务场景，其底层都是基于redis中的基础数据类型存储的。
Redis的数据结构之bitmap
w915209092的博客
07-28 7346
bitmap简称位图，是由多个二进制位组成的数组，数组中的每个二进制位都有与之对应的偏移量，可以通过这些偏移量对位图中指定的一个或多个二进制位进行操作。本文讲解了位图的基本数据结构和操作命令，位图适合于一些特定的场景，我们需要集合实际的业务场景情况，选择合适的数据结构存储能够大大的降低Redis的内存空间说明httpshttpshttpshttpshttpshttpshttpshttpshttps。...
Redis中3种特殊的数据类型（BitMap、Geo和HyperLogLog）
12-16
前言 Reids 在 Web 应用的开发中使用非常广泛，几乎所有的后端技术都会有涉及到 Redis 的使用。Redis 种除了常见的字符串 String、字典 Hash、列表 List、集合 Set、有序集合 SortedSet 等等之外，还有一些不常用的数据类型，这里着重介绍三个。下面话不多说了，来一起看看详细的介绍吧。 BitMap BitMap 就是通过一个 bit 位来表示某个元素对应的值或者状态, 其中的 key 就是对应元素本身，实际上底层也是通过对字符串的操作来实现。Redis 从 2.2 版本之后新增了setbit, getbit, bitcount 等几个 bitmap
HyperLogLog.zip
07-15
该项目是 Go 语言对 HyperLogLog 和 HyperLogLog 算法的实现。 HyperLogLog paper: http://algo.inria.fr/flajolet/Publications/FlFuGaMe07.pdf HyperLogLog paper: http://research.google.com/pubs/pub40671.html 标签：HyperLogLog
【Redis】Redis 高级数据结构 - bitmap 和 hyperLogLog
Ulrich蚊子Blog
11-30 1207
业务场景 问题：假设我们现在有一个网站，需要记录每天的 UV 数据，那应该采取什么方案来实现呢？ 如果只是统计网站的 PV，那么给每个网页配置一个独立的 Redis Key 即可，key 中可以加上日期信息实现历史数据的记录。这样每当有一个用户访问当前网站，就对应执行一次 incrby。但是 UV 不同，它需要实现去重的操作，说到去重，大家第一时间想起的可能就是 set 或者 hashmap 这样的数据结构。但是如果网站的流量达到千万级别甚至上亿，那么它们就会十分消耗内存了。因此，我们还可以考虑使用 red
redis数据结构HyperLogLog
weixin_30628077的博客
10-26 201
如果我们要实现记录网站每天访问的独立IP数量这样的一个功能 集合实现： 使用集合来储存每个访客的 IP ，通过集合性质（集合中的每个元素都各不相同）来得到多个独立 IP ，然后通过调用 SCARD 命令来得出独立 IP 的数量。举个例子，程序可以使用以下代码来记录 2014 年 8 月 15 日，每个网站访客的 IP ：ip = get_vistor_ip()SADD '2014.8.15::...
Redis中的Bitmap和HyperLogLog
qq_24760259的博客
07-23 1016
Redis中Bitmap的妙用 Bitmap存储结构Bitmap上的统计bitcount count [start end]bitop operation destkey key [key ...]Bitmap的妙用用户在线状态用户签到统计活跃用户 Bitmap存储结构 在Redis中以位为单位存储字符串，这种存储结构称为Bitmap，也叫位图。 每个字节存储结构如下： offset 0 1 2 3 4 5 6 7 value 0 0 0 0 0 0 0 0 setbit key 0 1
HyperLogLog、Bitmap
dl674756321的博客
04-09 505
HyperLogLog 采用基数算法实现，它设有 16384 个桶进行独立计数，也就是 2 的 14 次方，每个桶占 6 位，2 的 14 次方乘以 6 再除以 8，就等于 12k 字节了。它根据输入元素来计算基数，而不是存储元素本身。 占用空间小，无论统计多少个数据，最多占用12K的内存。（redis 设有 16384个桶，每个桶里的数据最多需要6位进行存储，16384 x 6 / 8 约等于...
Redis高级数据结构
Minor的Java技术博客
07-09 659
现代计算机用二进制位作为信息的基础单位，1字节=8位，比
redis的三种特殊类型之Hyperloglog+Bitmap
qq_46089299的博客
04-06 294
Hyperloglog是基于基数的算法来统计的 什么是基数？？？ 基数（cardinal number）在数学上，是集合论中刻画任意集合大小的一个概念。两个能够建立元素间一一对应的集合称为互相对等集合。例如3个人的集合和3匹马的集合可以建立一一对应，是两个对等的集合。 使用优点：占用固定的内存空间，2^64不同元素的技术，只需要12kb内存。 使用场景：如果允许容错：比如统计页面的访问次数（一个人多次访问，但还是算作一个人的访问）不累计叠加，传统的方式是使用set保存用户的id，一旦为uuid的话那么id较
Redis--BitMap与HyperLogLog
BtWangZhi的博客
03-29 463
1 GET请求数据映射 1.1 将url中的数据映射到形参中 /** * 测试PathParam注解 * @param userId * @return */ @GET @Path("/user/getUserInfoByPathParam/{userId}") public User getUserInfoByPathP...
BitMap 和 HyperLogLog
qq_62767608的博客
03-17 695
BitMap 和 HyperLogLog
Redis中的BitMap、HyperLogLog、一致性Hash算法
最新发布
2401_83384536的博客
04-30 472
BitMap数据结构HyperLogLog数据结构Redis中的HyperLogLogHyperLogLog的核心思想Redis集群一致性Hash算法使用Hash取模的问题一致性Hash算法一致性Hash算法的容错性和可扩展性Hash环的数据倾斜问题。
第七章：Redis 位图bitmap&基数统计HyperLogLog
weixin_33845477的博客
01-25 247
1. 什么是位图 redis可以直接对数据进行位操作。 获取hello二进制的第0位.png 2. 实例 setbit key offset value #给位图指定索引设置值 上面我们给hello赋值为world，那么我们现在把它的二进制第0位改成1，再进行get hello se...
Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解
万里顾一程的博客
08-15 700
文章目录Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解1、HyperLogLog 基数统计2、Bitmap位图场景详解 Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解 1、HyperLogLog 基数统计 什么是基数? 比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。 Redis HyperL
redis的Bitmap、HyperLogLog、Geospatial
weixin_56289362的博客
03-28 1082
Bitmap（针对位操作字符串） 简介 现代计算机用二进制(位)作为信息的基础单位，1 个字节等于8位，例如"abc"字符串是由3个字节组成，但实际在计算机存储时将其用二进制表示，"abc" 分别对应的ASCII码分别是97、98、 99 ，对应的二进制分别是01100001、01100010和01100011 ,如下图 合理地使用操作位能够有效地提高内存使用率和开发效率。java中位与操作是最快的，在Redis中同样道理，（实际上是字符串）Redis提供了Bitmaps这个“数据类型”可以实现对位.
BitMap与HyperLogLog原理详解
风吟
07-30 2908
一、BitMap算法详解 所谓的BitMap就是用一个bit位来标记某个元素所对应的value，而key即是该元素，由于BitMap使用了bit位来存储数据，因此可以大大节省存储空间。 基本思想 这此我用一个简单的例子来详细介绍BitMap算法的原理。假设我们要对0-7内的5个元素(4,7,2,5,3)进行排序(这里假设元素没有重复)。我们可以使用BitMap算法达到排序目的。要表示8个数，我们需...
Redis-HyperLogLog与BitMap
CodingMayCry
09-07 1111
四两拨千斤——HyperLogLog 因为在项目中，用到了这个高级数据结构来统计UV数据。所以，今天特来总结一下。 日UV（Unique Visitor，独立访客），即统计同一个用户一天之内的访问请求，并且同一个用户的多次请求只能统计一次。这就要求每一个网页请求都需要带上用户ID，无论是登录用户还是未登录用户都需要一个唯一ID来标识。 当然，第一个想到的是用set集合来存储，既能去重又能统计...
五、redis的bitMap和hyperloglog
chuxue1989的专栏
07-20 437
未完待续……
Redis数据结构及性能优化原理深度解析
7. 超日志（HyperLogLog）：一种用于计数的特殊数据结构，用于概率统计算法。 8. 地理空间索引（Geo）：存储地理位置信息，并进行距离查询等操作。 Redis的高性能主要得益于其使用内存存储数据的方式以及其简单的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值