Redis hyperloglog基数统计命令

最新推荐文章于 2024-10-13 06:13:14 发布
最新推荐文章于 2024-10-13 06:13:14 发布
阅读量113 收藏
点赞数 1
文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53193749/article/details/119969765
版权 
pfadd key val val....                  #向key集合中添加val元素

pfcount key                            #统计key中元素个数

pfmerge key3 key1 key2                 #合并分支，将key1，key2取并集合并到key3

优点：占用内存小，2的64次方个不同元素只需12kb大小，可用作网页uv计算（访问量）

缺点：官方数据，有百分之0.81的错误率，若统计uv可忽略不计

qq_53193749
关注
Redis HyperLogLog 统计UV / 去重统计 /基数统计
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-26 719
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4168
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
HyperLogLog相关命令
冲出仁川，走出马德里，故事还会再继续
09-16 424
HyperLogLog相关命令1、用pfadd添加键值对2、用pfcount统计基数值3、用pfmerge进行合并操作4、统计网站访问总人数   先通过统计网站访问数量得场景来理解基数得概念。例如，在10分钟内，user1点击了3次某网站得页面，user2点击了4次，user3点击了2次，user4点击了5次。虽然油多次点击事件，但是访问者的基数是4，也就是说基数集合里面不包含重复的元素。   通过Redis的HyperLogLog对象能高效地统计基数。在其他统计基数地场景里，元素地数量和内存地消耗量是成正
redis基础数据结构（六） 基数统计
kdb_viewer的博客
06-22 1505
基数统计即统计一个数据集中不重复元素的个数，一种显然的实现是使用不相交集，缺陷是随着数据增加内存占用线性增加，海量数据下不可用；一种更常见的方法是使用B-树，所有数据在叶子节点保存，叶子节点在磁盘中，上层节点在内存中，因此占用内存的问题得到解决，查找时间O(logN)，但是读取磁盘开销太大；最完美的方法是使用bitmap，因为bit是最小存储空间，可以保证内存占用最小。以上都是准确基数排序的方法，...
redis中HyperLogLog使用（统计数据）
zpflwy1314的博客
12-14 2064
HyperLogLog是Redis中的高级数据结构，它主要用于对海量数据（可以统计2^64个数据）做基数统计（去重统计数量）。它的特点是速度快， 占用空间小（12KB）。但是计算存会在误差，标准误差为0.81%。HyperLogLog只会根据输入元素来计算基数，而不会储存输入元素本身， 所以他并不能判断给定的元素是否已经存在了。适合用来对海量数据进行unique统计，对内存占用有要求，而且还能够接受一定的错误率的场景。 对于union操作由于是O(N)，在海量数据层面需要注意慢查询问题 基本指令 pfadd
闲谈使用redis HyperLogLog实现网站访问uv统计
06-16 714
UV UV（Unique Visitor）就是指网站的独立用户访问量Unique Visitor，对相同用户的多次访问需要去重。 考虑到UV需要去重，可能会考虑使用redis的Set。Set里面存储用户的Id。每一个用户访问页面的时候，我们直接把Id存入Set，最终获取Set的size。但是如果用户量上亿的话，存储空间需要非常大。 也可能会考虑使用数据库记录用户请求，但是这样数据库写入量很大，导致数据库压力会比较大。同时如果用户很多，需要的存储空间也非常大。 HyperLogLog 原理 每次将
redis学习：Hyperloglog的基数统计
FeiChangWuRao的博客
02-07 267
基数可以理解为数据集中不重复的元素的个数。 例如拿UV做例子 网页的访问量（UV）：一个用户多次访问，也只能算作一个人。 先看一下Hyperloglog的基础命令 命令 描述 PFADD key element1 [elememt2…] 添加指定元素到 HyperLogLog 中 PFCOUNT key [key] 返回给定 HyperLogLog 的基数估算值。 PFMERGE destkey sourcekey [sourcekey…] 多个 HyperLogLog 合并为一个
redis学习-19- Redis HyperLoglog基数统计
时光
04-24 122
redis学习-19- Redis HyperLoglog基数统计
redisHyperLogLog原理解析
qq_30095631的博客
05-04 2501
场景 做服务端的同学，应该都遇到过计数场景，比如我想知道浏览某一个web页面的总人数，总次数；查看某条热门动态的总人数总次数；购买某件商品的总人数总次数；对于总次数我们直接基于计数器累加就能很方便的解决，时间和空间复杂度都不高。而对于总人数，常规思路我们都是基于去重数据结构Set来存储，将所有访问了的用户id就存到到set中，最终获取set集合中的元素个数即为总人数。当平台量不大时可能还好，一旦访问人数过大，这将是一笔不小的存储开销，并且随着人数的不断增多，所需要的存储空间也会不断加大，这就有点头疼了。 r
redis源码阅读—hyperloglog(基数统计)
qq_36581961的博客
01-07 776
文章目录背景基数统计伯努利试验估算优化Hyperloglog实现过程比特串分桶对应看看源码创建hll对象添加元素使用dense方式存储计算基数合并hyperloglog键回头再想想 其实在看hyperloglog源码之前，redis里这个高级数据类型都没有用过，只是了解一点它的命令。主要是用来基数统计，如日活用户统计(针对千万级别的访问量，如果实际没有那么大hashmap和bitmap都可以解决)这种需求会使用这种数据类型，性能会高很多。看了源码之后才发现，真是不太能看懂，里边涉及很多的算法和数学知识，尽管
玩转Redis-HyperLogLog统计微博日活月活
zxiaofan.com
07-19 1637
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【9】篇。 日活数据统计面临哪些挑战？ HyperLogLog必知，HyperLogLog和Sets的区别，HyperLogLog命令对比分析，HyperLogLog命令注意事项。HyperLogLog的应用场景
Redis HyperLogLog教程：掌握大数据统计的redis-py技巧
Redis HyperLogLog是一个概率型数据结构，用于估算数据集的基数（即集合中不同元素的数量），尤其是在处理大规模数据时，其内存占用极小，通常在几个KB级别。相比于传统的集合操作，HyperLogLog在内存使用和处理时间...
Redis HyperLogLog底层实现和Redis 7.0特性主从复制优化
qq_44027353的博客
03-28 1005
剩余的50位的数据就决定往桶中放入什么内容，从第14位开始往前数，找到第一个为1的比特位数，比如17位是1，那么就是从第14位开始往前数第3位是1，然后把这个3转换为二进制数存入桶中，相当于就是存了一个K。将原来一整大块内存拆分为了很多小块内存(Block)，使用链表的结构将多个block连接起来，每个block中还维护了一个变量refcount用来表示从库引用计数，各个从库的复制缓冲区都是读取的一块内存，只是移动指针表示各个从库读取到了哪一个位置。它是有误差的，误差在0.81%。，不是采用的算术平均数。
redis与springBoot整合
hang_sa_mu的博客
10-11 832
设置一个没有登录异常类即可​/*** --- 天道酬勤 ---* @desc 未登录异常*/​// 为了接收状态码​​​。
redis高级数据类型之HyperLogLog
qq_38917476的博客
10-11 800
HyperLogLog 是 Redis 2.8 版本中新增的数据类型，专门用于统计基数（cardinality）的数据集合。它是一种基于概率算法的数据结构，能够高效地估算集合中不重复元素的数量。HyperLogLog 作为一种高效的概率性数据结构，在处理大规模数据集时展现了其卓越的性能和低内存占用。它能够快速估算集合中的独特元素数量，适用于社交应用、网络监控、广告统计等多个场景。虽然其统计结果存在一定的误差，但在大多数情况下，这种误差是可以接受的，尤其是在需要高频次计数和实时反馈的应用中。
Redis-缓存一致性
qq_39007838的博客
10-08 1254
自己的理解，只要是写缓存的方式，都会存在线程写入先后导致的数据不一致监听 binlogHomecanal 选择版本 1.6.1mysql: 5.7 docker环境安装。
Redis 列表(List)
最新发布
wjs2024的博客
10-13 484
Redis 列表是简单的字符串列表，按照插入顺序排序。你可以在列表的头部或尾部添加元素。列表的最大长度为 2^32 - 1 元素（每个列表超过 40 亿个元素）。Redis 列表是一个强大的数据结构，适用于多种场景。它简单易用，高性能，并且非常灵活。如果你需要处理有序的字符串集合，Redis 列表是一个很好的选择。
Redis Bitmap 数据结构在用户行为跟踪、存在性检测以及A/B测试中的应用
欢迎来到【技术拾光者】，在这里，我们专注分享编程教程、技术趋势、实战案例和优质资源。不定期举办技术问答、专家访谈和职业指导。加入我们，共同探索技术世界，提升技能，拓展职业道路！
10-11 570
Redis 的 Bitmap 是一种高效的位操作数据结构，适用于存储和处理大量布尔值（0 或 1）。本文探讨了 Redis Bitmap 在多个实际应用场景中的使用方法，包括用户行为跟踪、去重和存在性检测、A/B 测试。通过具体的 Java 示例代码，展示了如何利用 Bitmap 提高数据存储和处理的效率。这些示例不仅帮助理解 Bitmap 的基本操作，还展示了其在实际业务中的广泛应用，提供了实用的解决方案。
Redis 数据类型set（集合）
weixin_47363690的博客
10-12 932
Redis 的 Set（集合）是一种无序的、不重复的数据结构。Set 类型非常适合用于存储唯一性元素，并且提供了多种集合操作，如交集、并集和差集等。Set 中的每个元素都是唯一的字符串，这使得 Set 成为实现“标签”、“唯一性检查”、“关系图”等场景的理想选择。
RedisHyperLogLog的使用方法
05-12
Redis的HyperLogLog是一种基数算法，用于估算一个集合中的元素数量。它的优点是占用空间小，计算速度快，但是在精度上有一定的误差。使用方法如下： 1. 添加元素 可以使用 PFADD 命令向 HyperLogLog 中添加元素。例如，向 key 为 hll 的 HyperLogLog 中添加元素 a、b、c： ``` PFADD hll a b c ``` 2. 统计基数 可以使用 PFCOUNT 命令统计 HyperLogLog 中元素的基数。例如，统计 key 为 hll 的 HyperLogLog 中元素的基数： ``` PFCOUNT hll ``` 3. 合并 HyperLogLog 可以使用 PFMERGE 命令合并多个 HyperLogLog。例如，将 key 为 hll2、hll3 的 HyperLogLog 合并到 key 为 hll1 的 HyperLogLog 中： ``` PFMERGE hll1 hll2 hll3 ``` 需要注意的是，合并的 HyperLogLog 必须属于同一种类型的数据，否则会返回错误信息。 4. 清空 HyperLogLog 可以使用 DEL 命令删除 HyperLogLog 中所有元素。例如，清空 key 为 hll 的 HyperLogLog： ``` DEL hll ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值