Redis HyperLogLog

最新推荐文章于 2024-08-04 17:53:15 发布
最新推荐文章于 2024-08-04 17:53:15 发布
阅读量141 收藏
点赞数 1
文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63594548/article/details/140908575
版权

HyperLogLog

* HyperLogLog 是一种类似于...(字符串、集合？) 的...（数据结构、计数器？）
* HyperLogLog 往往用于统计诸如一个网站的月用户活跃数、一个用户的年发布数等等

* 添加 
    pfadd key element [element...]
    被添加的元素应具有唯一性

* 计数
    pfcount key [key...]
    该命令为会得到 HyperLogLog 中的独立总数

* 合并
    pfmerge destkey sourcekey [sourcekey...]
    在分布式环境下，可能为了简便处理，会采用最后处理的策略

* 优点？
    同等数据集下 HyperLogLog 内存占用量是集合的 0.01783 倍

* 缺点？
    和布隆过滤器类似，存在一定的失误率（官方文档 0.81% 的失误率）
豆瑞瑞
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis HyperLogLog问题
sinat_27016095的博客
04-19 256
不管存储的内容是什么，在 Redis 中每个HyperLogLog键占用的内容都是 12K，理论存储近似接近 2^64 个值。 这是一个基于基数估计的算法，只能比较准确的估算出基数，可以使用少量固定的内存去存储并识别集合中的唯一元素。但是这个估算的基数并不一定准确，是一个带有 0.81% 标准错误（standard error）的近似值。但是，也正是因为只有 12K 的存储空间，所以，它并不实际存储数据的内容。 HyperLogLog本质上来源于生活中一个小的发现，假设你抛了很多次硬币，你告诉在这次抛硬币
08-Redis HyperLogLog与事务和Redis 7.0那点事-ev.rar
03-08
08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar...
Redis HyperLogLog 命令
gzu_01的博客
01-09 616
Redis Pgmerge 命令将多个 HyperLogLog 合并为一个 HyperLogLog ，合并后的 HyperLogLog 的基数估算值是通过对所有 给定 HyperLogLog 进行并集计算得出的。Redis Pfadd 命令将所有元素参数添加到 HyperLogLog 数据结构中。Redis Pfcount 命令返回给定 HyperLogLog 的基数估算值。
redisHyperLogLog原理解析
qq_30095631的博客
05-04 2428
场景 做服务端的同学，应该都遇到过计数场景，比如我想知道浏览某一个web页面的总人数，总次数；查看某条热门动态的总人数总次数；购买某件商品的总人数总次数；对于总次数我们直接基于计数器累加就能很方便的解决，时间和空间复杂度都不高。而对于总人数，常规思路我们都是基于去重数据结构Set来存储，将所有访问了的用户id就存到到set中，最终获取set集合中的元素个数即为总人数。当平台量不大时可能还好，一旦访问人数过大，这将是一笔不小的存储开销，并且随着人数的不断增多，所需要的存储空间也会不断加大，这就有点头疼了。 r
【进阶篇】2.2 三分钟了解Redis HyperLogLog 数据结构
日拱一卒无有尽，功不唐捐终入海
07-16 1002
HyperLogLog算法是一种非常有用的数据结构和算法，它可以在很小的空间内估计一个集合中不重复元素的数量，具有很高的效率和精度，非常适合用于大数据量的计数场景。在使用时，需要注意HyperLogLog算法的概率特性，以及对误差的容忍度，才能得到最好的效果。答：Redis HyperLogLog是一种基数估计算法，它可以在只使用很少的内存空间的情况下，近似地估计一个集合中不重复元素的数量。
redis HyperLogLog原理
qq_34999565的博客
01-24 572
伯努利试验（Bernoulli experiment）是指在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。比如抛硬币，只有正面反面两种结果。 在介绍 HyperLogLog 之前，我们可以考虑这样一个游戏：不断抛硬币，直到第一次出现正面朝上，记录总共抛了多少次。 这个游戏中，假如在某次场景下，前3次都是反面，第4次正面，问这个概率是多少？这个很简单,那么相当于平均需要玩=16次这个游戏才会出现这种场景。反过来说，如果某次游戏要抛到第4次才第一次出现.
redis HyperLogLog
azh89125的博客
03-19 109
redis hyperloglog
Redis Hyperloglog(浅析)
ord_D的博客
07-22 223
Redis Hyperloglog(浅析)
redis HyperLogLog，看这篇就够了
持之以恒
10-18 5605
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
Redis HyperLogLog 命令学习及原理浅析
u012948302的专栏
08-27 382
本文详细介绍了Redis 最新版6.2.x，HyperLogLog的指令解析和原理介绍，并配有丰富示例。通过本文，可以快速掌握Bitmap的使用方式，并理解其工作原理。
wyhll:基于2位HyperLogLog的梦想精确近似集基数估计器。 比Redis HyperLogLog更准确，更快
03-13
本文将深入探讨一种基于2位HyperLogLog的优化版本——wyhll，它由王翼提出，相比Redis的HyperLogLog，具有更高的精度和更快的速度。 HyperLogLog算法的核心思想是使用概率统计方法来估算集合的基数。它通过哈希函数...
wyHLL:基于3位HyperLogLog的梦想精确近似集基数估计器。 比Redis HyperLogLog更准确
03-25
wyHLL：WangYi的3位HyperLogLog
hyperloglog-redis:Redis支持的HyperLogLog算法的实现
05-10
require 'hyperloglog-redis' counter = HyperLogLog::Counter.new(Redis.new) ['john', 'paul', 'george', 'ringo', 'john', 'paul'].each do |beatle| counter.add('beatles', beatle) end puts "There are ...
Redis的HyperLogLog是如何实现基数统计的？
06-19
Redis是一个开源的内存数据库，属于NoSQL数据库的一种。它以其高性能、支持丰富的数据结构、持久化特性、复制、集群以及发布/订阅等特性而闻名。Redis是一个键值存储系统，每个键都对应一个值，这个值可以是字符串、...
【redis 第八篇章】链表结构
Tsing
08-03 300
在redis 3.2版本之前使用的是双向链表和压缩链表两种，因为双向链表占用的内存要比压缩链表高，所以创建链表时首先会创建压缩链表，在合适的时机会转化成双向链表。redis 3.2之后使用的是quicklist链表。
【redis 第五篇章】持久化之AOF和RDB
Tsing
08-02 932
RDB和AOF1、RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。2、AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF 命令以 Redis 协议追加保存每次写的操作到文件末尾。Redis 还能对 AOF 文件后台重写，使得 AOF 文件的体积不至于过大。3、如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化的方式。
Redis进阶(四):哨兵
最新发布
kaiwawah的博客
08-04 552
为了解决主节点故障，需要人工操作切换主从的情况；因此需要一种方法可以自动化的切换：哨兵的引入大大改变这种情况。
【redis 第七篇章】动态字符串
Tsing
08-03 171
string 类型底层实现的简单动态字符串 sds，是可以修改的字符串。它采用预分配冗余空间的方式来减少内存的频繁分配。
redis HYPERLOGLOG
08-18
Redis HyperLogLog 是一种基数估计算法，用于估计一个集合中的不同元素的数量。它通过使用固定大小的空间来存储大量的元素，并且可以在极低的错误率下给出近似值。 HyperLogLog 使用了一种称为基数估计算法（cardinality estimation algorithm）的技术。它通过使用哈希函数将元素映射到一个固定大小的位数组中，然后利用这些位来估计集合的基数。 Redis 中的 HyperLogLog 数据结构提供了一些操作，比如添加元素到 HyperLogLog 中、获取估计的基数、将多个 HyperLogLog 进行合并等。 使用 HyperLogLog 可以在极小的内存消耗下估计大量元素的数量，因此在统计分析、日志处理等领域非常有用。但需要注意的是，HyperLogLog 估计的是近似值，而不是准确值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值