Redis之HyperLogLog类型

最新推荐文章于 2024-05-10 20:36:43 发布
最新推荐文章于 2024-05-10 20:36:43 发布
阅读量241 收藏
点赞数 1
分类专栏： Redis 文章标签： redis HyperLogLog
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pipizhen_/article/details/113316164
版权
HyperLogLog（基数统计）

什么是基数？
不相同的数叫做基数。

问题的引入：
在传统时期，如果你要计算一个网页的访问量，如何计算？做法是将用户的唯一标识存入一个set集合中，然后获取set的集合元素的大小。当集合元素量比较小的时候，效果还行，当用户量超大时，这个集合或者多个集合占用的储存量太大了。我们只不过想要个访问量这个数字而已，但却要存储这么多无效信息，不划算。

HyperLogLog不是集合，不会存储元素本身，而是添加的时候计数不重复元素的一种算法，不是redis独有的。当添加量非常大时，存在0.81%标准误差。HyperLogLog最大只占12KB内存，可以计算近264元素的基数。

如果你用集合去存264个元素，内存多少？可以自己算算。
假设存long型数字，一个long型8个字节，即8B，（264 * 8）/ (1024 * 1024 * 1024) = 237 G，再看看自己电脑几个G，根本无法存这么多。

HyperLogLog的应用场景：访问量，在线人数，搜索次数，注册人数，等待。

HyperLogLog命令只有三个：PFadd添加，PFcount获取基数，PFmerge合并

常用命令：

（1）添加基数：PFadd key element [element…]
在这里插入图片描述
返回值：基数发生改变返回1，未改变返回0。
当不指定元素，即PFadd key时，key不存在时创建一个空的key，返回1。

（2）获取基数：PFcount key [key…]
在这里插入图片描述

（3）基数合并：PFmerge destKey sourceKey [sourceKey…]

合并后的基数近似所有输入元素的基数。
在这里插入图片描述

pipizhen_
关注
专栏目录
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4168
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
redis 高级数据类型之 HyperLogLog 算法详细介绍
一个火星程序员的专栏
10-30 1132
HyperLogLog是一个专门为了计算集合的基数而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数：近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用。
Redis HyperLogLog
poijm
01-19 2423
Redis HyperLogLog Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算
redis学习计划（八）redis常用数据类型 HyperLoglog
ahjwpcn365373的博客
06-26 163
1.HyperLoglog简介 HyperLoglog是redis新支持的两种类型中的另外一种(上一种是位图类型Bitmaps)。主要适用场景是海量数据的计算。特点是速度快。占用空间小。 同样是用于计算，HyperLoglog在适用场景方面与Bitmaps方面有什么不同呢。我个人的理解是，Bitmaps更适合用于验证的大数据，比如签到， 记录某用户是不是当天进行了签到，签到了多少天...
Redis 三种特殊类型之 Hyperloglog 类型
weixin_40580351的博客
01-19 149
Redis 三种特殊类型之 Hyperloglog 类型 简单介绍 ​ Hyperloglog 是一个逼（shi）格（yong）满（lv）满（di）的 Redis 数据类型，其可以在一定容错率的条件下计算一组数据的基数。 何为基数？ ​ 一组数据的基数指的是这组数据中去重之后的数据的数量，也就是该组数据所对应的 set 的长度。如一组数据 a = （1，2，3，4，5，1，2，4，3，5）的基数就为 5。 基本操作 127.0.0.1:6379> PFADD my
Redis数据类型 之 HyperLogLog
哈
10-24 481
Redis数据类型 之 HyperLogLog 基数统计(HyperLogLog) 基数是一种算法。比如一本英文著作由几百万个单词组成，但英文单词本身是有限的，在这几百万个单词中有许多重复的单词，去掉重复的，内存就足够存储了。比如数字集合{1,2,5,7,9,1,5,9}的基数集合为{1,2,5,7,9}，那么基数为5。基数的作用是评估大约需要准备多少个存储单元去存储数据。基数不能存储元素。 Hy...
Redis_22_Redis中的HyperLogLog数据类型
毛毛的专栏
09-21 589
文章目录
Redis的HyperLogLog是如何实现基数统计的？
最新发布
06-19
1. **缓存**：使用Redis的String类型存储热点数据，如报表、对象、全页等，以提升数据访问速度并减轻数据库压力。 2. **数据共享分布式**：作为分布式独立服务，Redis可以在多个应用之间共享数据，例如实现分布式...
Redis之“不靠谱“的hyperLogLog,误差实测,实战中碰到的BUG深度解析
linsonggao的博客
04-26 2071
这段代码收集2000个用户从最开始的半天到后面需要5天，问题开始变得明显了，于是排查代码怀疑是HyperLogLog的问题，去redis的cli执行一下相关命令发现果然是hll的问题。可见hll的pfadd并不会每次增加uv都返回成功,因为pfadd到一定的基数才会去改变整个hll的近似基数，从而保证整体的hll的误差概率在0.83%比如我pfcount可能到达了10万，但是10万的0.83%就是830，这个时候我需要pfadd 831个才有可能返回true，从而改变整体的基数近似值。
玩转Redis-HyperLogLog统计微博日活月活
zxiaofan.com
07-19 1639
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【9】篇。 日活数据统计面临哪些挑战？ HyperLogLog必知，HyperLogLog和Sets的区别，HyperLogLog命令对比分析，HyperLogLog命令注意事项。HyperLogLog的应用场景
Redis数据类型之HyperLogLog类型
qq_39093474的博客
11-25 87
假设产品经理让你设计一个模块，来统计PV（Page View页面的访问量），那么你会怎么做？我想很多人对于PV（Page View页面的访问量）的统计会很快的想到使用Redis的incr、incrby指令，给每个网页配置一个独立Redis计数器就可以了，把这个技术区的key后缀加上当它的日期，这样一个请求过来，就可以通过执行incr、incrby指令统计所有PV。此时当你完成这个需求后，产品经理又让你设计一个模块，统计UV（Unique Visitor，独立访客），那么你又会怎么做呢？
Redis 数据类型——hyperloglog
Hanyinh的博客
08-14 1656
一、hyperloglog 介绍 1、hyperloglog 简介 Redis 中 hyperloglog 数据类型是 2.8.9 版本引入的，是一种概率数据结构，用来估算数据的基数。基数就是指一个集合中不同值的数目，比如 a, b, c, d 的基数就是 4，a, b, c, d, a 的基数还是 4。虽然 a 出现了两次，但是只会被计算一次。 ​ hyperloglog 通常用来统计一个集合中不重复的元素个数。一个很常见的例子就是统计某个文章的 UV（Unique Visitor，独立访客，一般可以理解
Redis教程(七) HyperLogLog类型
yuan_xw的专栏
08-31 1074
Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各
redis~HyperLogLog
houkai的博客
07-07 136
介绍 Redis 在 2.8.9 版本添加了 HyperLogLog 结构，Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLogLog 只会根据输入元素来...
Redis之HyperLogLog
Sunny
06-06 281
HyperLogLog并不是一种新的数据结构(实际类型为字符串类型),而是一种基数算法,通过HyperLogLog可以利用极小的内存空间完成独立总数的统计,数据集可以是IP、Email、ID等。 HyperLogLog提供了三种命令： 目录 pfadd pfcount pfmerge pfadd 1.语法 pfadd key element[element...]2.解析 将任意数量的...
【Redis7】10大数据类型之HyperLogLog类型
云泽野の编程日记
05-10 305
HyperLogLog是基于概率的数据结构，能够以极高的效率和极小的内存占用（固定12KB）来近似计算。个不同元素的基数，特别适合处理大规模数据集的统计计数，如网站独立访客（UV）计数等场景。类型,因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身.Redis的HyperLogLog是一种高级数据结构，专门用于基数估算。
Redis数据类型 - HyperLogLog
qq_38515961的博客
10-04 284
文章目录一、HyperLogLog简介二、HyperLogLog常用操作 一、HyperLogLog简介 HyperLogLog是一个专门为了计算集合的基数（集合的基数就是集合中元素的数量）而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数，近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用
HyperLogLog类型的命令
cjdjcdj的博客
06-07 165
引言 hyperLogLog是用来统计基数的利器。只需要16k或者12k的内存就可统计2^64次方的数据量 具体的介绍见见: http://www.redis.cn/commands/pfcount.html 本文只做命令的介绍。以及常见的使用场景，不做原理分析（不会） 一共只有三个命令 PFADD PFCOUNT PFMERGE 挨个介绍 pfadd 把element元素存储到hyperLogLog结构中 pfadd key element[element …] pfcount 获取hyperLo
RedisHyperLogLog的使用方法
05-12
Redis的HyperLogLog是一种基数算法，用于估算一个集合中的元素数量。它的优点是占用空间小，计算速度快，但是在精度上有一定的误差。使用方法如下： 1. 添加元素 可以使用 PFADD 命令向 HyperLogLog 中添加元素。例如，向 key 为 hll 的 HyperLogLog 中添加元素 a、b、c： ``` PFADD hll a b c ``` 2. 统计基数 可以使用 PFCOUNT 命令统计 HyperLogLog 中元素的基数。例如，统计 key 为 hll 的 HyperLogLog 中元素的基数： ``` PFCOUNT hll ``` 3. 合并 HyperLogLog 可以使用 PFMERGE 命令合并多个 HyperLogLog。例如，将 key 为 hll2、hll3 的 HyperLogLog 合并到 key 为 hll1 的 HyperLogLog 中： ``` PFMERGE hll1 hll2 hll3 ``` 需要注意的是，合并的 HyperLogLog 必须属于同一种类型的数据，否则会返回错误信息。 4. 清空 HyperLogLog 可以使用 DEL 命令删除 HyperLogLog 中所有元素。例如，清空 key 为 hll 的 HyperLogLog： ``` DEL hll ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值