Redis HyperLogLog

最新推荐文章于 2023-09-25 08:30:47 发布
最新推荐文章于 2023-09-25 08:30:47 发布
阅读量116 收藏
点赞数
分类专栏： Redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suoyx/article/details/114770036
版权

Redis HyperLogLog 是在数据量在千万级以上的时候采用的一种数据结构，用于数据不精确统计，说不精确，是因为统计结果有一定的误差率。

Redis 对这种数据结构进行了优化，数据量小的时候采用稀疏矩阵，占用空间很小，超出阈值时，会转为稠密矩阵，才会占用 12KB 的存储空间。

 

Redis 针对这种数据结构提供了几个命令，添加元素，去重统计，数据合并。

添加命令： pfadd

pfadd pfKey user:1

pfadd pfKey user:2

pfadd pfKey user:3

pfadd pfKey2 user:12

pfadd pfKey2 user:22

pfadd pfKey2 user:32

pfadd pfKey2 user:62

 

去重统计命令： pfcount

pfcount pfKey

3

pfcount pfKey2

4

 

数据合并命令：pfmerge

用于累加多个 pf key的计数

pfmerge pfKey pfKey2

OK

pfcount pfKey

7

pfcount pfKey2

4

 

 

美好生活521
关注
专栏目录
Redis HyperLogLog 统计UV / 去重统计 /基数统计
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-26 714
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，
redis简单使用HyperLogLog
知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;)
09-24 159
一 HyperLogLog 介绍 Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 在 Redis 中，HyperLogLog 是它的一种高级数据结构， 其功能结构类似于Set； HyperLogLog 经常使用于系统数据的不精确去重，标准误差为0.81%； 每个 HyperLogLog 键只需要12 KB 内存，就可以统计 2^64 个不同的元素； HyperLogLog 提供了两个指令用于计数统计，pfadd 为 添加数据；pfcount 为统计数据个数； pfadd 指令
分布式缓存Redis之HyperLogLog
ZhangRui的博客
12-06 1554
写在前面  本学习教程所有示例代码见GitHub：https://github.com/selfconzrr/Redis_Learning  基数估计算法就是使用准确性换取空间。 为了说明这一点，我们用三种不同的计算方法统计所有莎士比亚作品中不同单词的数量。请注意，我们的输入数据集增加了额外的数据以致比问题的参考基数更高。 这三种技术是：Java HashSet、Linear Probabilist
Redis(四)——HyperLogLog
hxyascx的博客
02-28 1622
在开始这一节之前，我们先思考一个常见的业务问题：如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？ 如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器的 key 后缀加上当天的日期。这样来一个请求，incrby 一次，最终就可以统计出所有的 PV 数据。 但是 UV 不一样，它要...
学透 Redis HyperLogLog，看这篇就够了
码哥字节
09-25 407
我是码哥，拥抱硬核技术和对象，面向人民币编程。公众号设置「星标」，才能收到我的文章推送哦。在移动互联网的业务场景中，数据量很大，系统需要保存这样的信息：一个 key 关联了一个数据集合，同时对这个数据集合做统计做一个报表给运营人员看。比如。统计一个 APP 的日活、月活数。统计一个页面的每天被多少个不同账户访问量（Unique Visitor，UV）。统计用户每天搜索不同词条的个数。统计注册 IP...
08-Redis HyperLogLog与事务和Redis 7.0那点事-ev.rar
最新发布
03-08
08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar...
Redis HyperLogLog问题
sinat_27016095的博客
04-19 286
不管存储的内容是什么，在 Redis 中每个HyperLogLog键占用的内容都是 12K，理论存储近似接近 2^64 个值。 这是一个基于基数估计的算法，只能比较准确的估算出基数，可以使用少量固定的内存去存储并识别集合中的唯一元素。但是这个估算的基数并不一定准确，是一个带有 0.81% 标准错误（standard error）的近似值。但是，也正是因为只有 12K 的存储空间，所以，它并不实际存储数据的内容。 HyperLogLog本质上来源于生活中一个小的发现，假设你抛了很多次硬币，你告诉在这次抛硬币
redis Hyperloglog 过滤重复
weixin_43870079的博客
03-16 473
Redis 中对 HyperLogLog 的应用 首先，在 Redis 中，HyperLogLog 是它的一种高级数据结构。提供有包含但不限于下面两条命令： pfadd key value，将 key 对应的一个 value 存入 pfcount key，统计 key 的 value 有多少个 回想一下，原始APP页面统计用户的问题。如果 key 对应页面名称，value 对应用户id。那么问题就刚刚好对应上了。 Redis 中的 HyperLogLog 原理 前面我们已经认识到，它的实现中，设有 1638
Redis HyperLogLog底层实现和Redis 7.0特性主从复制优化
qq_44027353的博客
03-28 1004
剩余的50位的数据就决定往桶中放入什么内容，从第14位开始往前数，找到第一个为1的比特位数，比如17位是1，那么就是从第14位开始往前数第3位是1，然后把这个3转换为二进制数存入桶中，相当于就是存了一个K。将原来一整大块内存拆分为了很多小块内存(Block)，使用链表的结构将多个block连接起来，每个block中还维护了一个变量refcount用来表示从库引用计数，各个从库的复制缓冲区都是读取的一块内存，只是移动指针表示各个从库读取到了哪一个位置。它是有误差的，误差在0.81%。，不是采用的算术平均数。
Redis HyperLogLog 命令学习及原理浅析
u012948302的专栏
08-27 476
本文详细介绍了Redis 最新版6.2.x，HyperLogLog的指令解析和原理介绍，并配有丰富示例。通过本文，可以快速掌握Bitmap的使用方式，并理解其工作原理。
【Redis】16. HyperLogLog — 亿级别的基数统计
有道无术，术尚可求，有术无道，止于术。
05-28 600
场景 老板让你统计一下网站的PV（浏览量，用户访问一次自增一次）和UV（(独立访客，每个用户每天只记录一次）。 PV 可以很好解决，我们可以使用redis 计数器，当天日期为key，每收到一个请求，INCRBY 就自增加一，最后结果就是浏览量了。 UV，一个用户每天访问多次，但只能记录一次，是不是可以用缓存的 SET 集合，SET 可以去重，但是问题来了，随着访问量的增加，如果用 SET 集合，这是相当浪费内存的，不仅如此，如果对set集合聚合统计，实现也很复杂。 使用位图，位图是以bit 为存储单位，是i
Redis HyperLogLog 是什么？这些场景使用它~
CSDN云计算
03-30 456
作者 | 就是码哥呀来源 | 码哥字节在移动互联网的业务场景中，数据量很大，我们需要保存这样的信息：一个 key 关联了一个数据集合，同时对这个数据集合做统计。统计一个 APP 的日活、月活数；统计一个页面的每天被多少个不同账户访问量（Unique Visitor，UV））；统计用户每天搜索不同词条的个数；统计注册 IP 数。通常情况下，我们面临的用户数量以及访问量都是巨...
【Redis 】Redis HyperLogLog 语法和使用场景
没有伞的孩子必须努力奔跑！—小林
12-15 239
Redis HyperLogLog Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 Hype...
使用Redis神奇的HyperLogLog做UV统计
赵侠客
05-25 1337
本文介绍Redis神奇的数据结构HyperLogLog，它可以用很小的内存，统计很多数据的基数(不重复的元素个数)，并利用此特性来统计UV/DAU/MAU，具有高性能，占用内存小特点。
redis应用--HyperLogLog
weixin_30401605的博客
08-12 328
如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？ 如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器的 key 后缀加上当天的日期。这样来一个请求，incrby 一次，最终就可以统计出所有的 PV 数据。 但是 UV 不一样，它要去重，同一个用户一天之内的多次访问请求只能计数...
redis HyperLogLog，看这篇就够了
持之以恒
10-18 6198
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
Redis站点流量统计HyperLogLog
热门推荐
mango_love的专栏
05-28 1万+
在我们做站点流量统计的时候一般会统计页面UV(独立访客:unique visitor)和PV(即页面浏览量：page view)，那么我们最常见的处理方式就是用户点击一次就插入一条数据到数据库，统计的时候通过查询表来达到统计流量的效果。 那么我们如果是通过redis来处理，我们可以使用string类型然后自增计数即可达到统计PV，统计UV可以使用set，每个用户id是唯一的可以放到这个集合里，统计的时候只需要执行scard获取集合大小即可。 这两种方式都是可以实现站点的流量统计，但是如果说当站点流量非常
Jedis使用API
u011521890的专栏
01-22 5142
环境配置 需要导入jedis.jar包 启动redis服务。 代码测试连接redis JedisPool jPool = new JedisPool("localhost",6379); Jedis jedis = jPool.getResource(); jedis.set("date", "2017-01-19"); jedis.set("work", "coding"); System.out
redis HYPERLOGLOG
08-18
Redis HyperLogLog 是一种基数估计算法，用于估计一个集合中的不同元素的数量。它通过使用固定大小的空间来存储大量的元素，并且可以在极低的错误率下给出近似值。 HyperLogLog 使用了一种称为基数估计算法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值