Redis中Hyperloglog基数统计

最新推荐文章于 2024-03-16 19:38:03 发布
最新推荐文章于 2024-03-16 19:38:03 发布
阅读量143 收藏
点赞数
文章标签： redis java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RacardoMlu/article/details/108451562
版权

什么是基数？
A{1,3，4,5，6,3}
B{1,3，5,7,9}
基数（不重复的元素）=5，可以接受误差！

简介
Redis 2.8.9 版本就更新了Hyperloglog 数据结构！
Redis Hyperloglog基数统计的算法！
优点：占用的内存是固定，2^64不同的元素的技术，只需要费12kb内存！如果要从内存角度来比较的话Hyperloglog首选！

网页的UV（一个人访问一个网站多次，但是还是算作一个人！）
传统的方式，set保存用户的id,然后就可以统计set中的元素数量作为标准判断！这个方式如果保存大量的用户id,就会比较麻烦！我们的目的就是为了计数，而不是保存用户id;
0.81%错误率！统计UV任务，是可以忽略不计的！

测试使用
在这里插入图片描述
如果允许容错，那么一定可以使用Hyperloglog !
如果不允许容错，就使用set或者自己的数据类型即可！

Nanase-Nishino
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis HyperLogLog 计数统计
KK_hou的博客
09-02 242
HyperLogLog的作用 HyperLogLog的作用 用于统计海量数据的基数（存在误差） HyperLogLog是Redis中的高级数据结构，它主要用于对海量数据（可以统计2^64个数据）做基数统计（去重统计数量）。它的特点是速度快，占用空间小（12KB）。但是计算存会在误差，标准误差为0.81%。HyperLogLog只会根据输入元素来计算基数，而不会储存输入元素本身，所以他并不能判断给定的元素是否已经存在了。 //1.访问接口统计数据 opsForHyperLogLog redisTemp
redis 高级数据类型之 HyperLogLog 算法详细介绍
一个火星程序员的专栏
10-30 1077
HyperLogLog是一个专门为了计算集合的基数而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数：近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用。
redis HyperLogLog，看这篇就够了
持之以恒
10-18 5571
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
Redis中的HyperLogLog
m0_37506254的博客
09-11 1457
一、啥是HyperLogLog 一、初始HyperLogLog Redis中的HyperLogLog是一种基于基数估算的算法，所谓基数估算就是在一批数据中不重复的元素个数有多少个。 基数计数(cardinality counting)，则是指计算一个集合的基数，意即count-discint。 基数计算的场景很广泛，例如计算网站的访问uv，计算网络流量网络包请求header中的源地址的distinct数来作为网络攻击的重要指标。想要实现基数计数最直接想到的...
redisHyperLogLog原理解析
qq_30095631的博客
05-04 2423
场景 做服务端的同学，应该都遇到过计数场景，比如我想知道浏览某一个web页面的总人数，总次数；查看某条热门动态的总人数总次数；购买某件商品的总人数总次数；对于总次数我们直接基于计数器累加就能很方便的解决，时间和空间复杂度都不高。而对于总人数，常规思路我们都是基于去重数据结构Set来存储，将所有访问了的用户id就存到到set中，最终获取set集合中的元素个数即为总人数。当平台量不大时可能还好，一旦访问人数过大，这将是一笔不小的存储开销，并且随着人数的不断增多，所需要的存储空间也会不断加大，这就有点头疼了。 r
学透 Redis HyperLogLog，看这篇就够了
码哥字节
09-25 339
我是码哥，拥抱硬核技术和对象，面向人民币编程。公众号设置「星标」，才能收到我的文章推送哦。在移动互联网的业务场景中，数据量很大，系统需要保存这样的信息：一个 key 关联了一个数据集合，同时对这个数据集合做统计做一个报表给运营人员看。比如。统计一个 APP 的日活、月活数。统计一个页面的每天被多少个不同账户访问量（Unique Visitor，UV）。统计用户每天搜索不同词条的个数。统计注册 IP...
【Redis笔记】一起了解 Redis 中的 HyperLogLog 算法？
长路漫漫的歇脚处
12-30 2389
一起了解 HyperLogLog 算法？什么是伯努利试验？
redis hyperloglog
weixin_30606669的博客
09-16 219
Redis 在 2.8.9 版本添加了 HyperLogLog 结构 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计...
Redis数据类型之HyperLogLog
u013048514的专栏
03-18 478
HyperLogLog是一种基数估计算法，用于估计一个集合中不同元素的数量。该算法使用的空间很小，通常只需要几千个字节就可以估算几十亿个元素的数量。它的原理是通过哈希函数将元素映射到位向量中，并对位向量中的值进行统计和计算，从而估算集合的基数。HyperLogLog算法是一种基于概率的算法，用于估计一个大型数据集的基数。它的名字来源于两个部分。LogLog表示该算法的核心思想是使用对数函数，其中Log是对数的意思。通过使用对数函数，我们可以将原始数据的巨大范围映射到一个更小的范围内，从而使算法更加高效。
Redis中的HyperLogLog以及HyperLogLog原理
最新发布
qq_42581682的博客
03-16 1301
Redis中的hyperLogLog数据结构及原理
Redis(十) -- Redis数据类型(七) -- HyperLogLog
weixin_39724194的博客
08-25 377
简介 在工作中，经常越到
hyperloglog-redis:Redis支持的HyperLogLog算法的实现
05-10
超级日志 该gem是HyperLogLog算法的纯Ruby实现，用于估计通过事件流观察到的集合的基数。 实例用于存储计数器。 一个最小的例子： require 'redis' require 'hyperloglog-redis' counter = HyperLogLog::Counter.new(Redis.new) ['john', 'paul', 'george', 'ringo', 'john', 'paul'].each do |beatle| counter.add('beatles', beatle) end puts "There are approximately #{counter.count('beatles')} distinct Beatles" 每个HyperLogLog计数器使用固定的少量空间，但可以估计高达约十亿个值的任何集合的基数，相对误差为1.0
Redis中的HyperLogLog是什么
DrLai的博客
03-26 2259
Redis中的HyperLogLog细节
Redis之HyperLogLog
qq_42688149的博客
06-16 2289
Redis之HyperLogLogRedis中的HyperLogLog（可用于统计网站访问量） Redis中的HyperLogLog（可用于统计网站访问量） 一般我们评估一个网站的访问量，有几个主要的参数： pv：Page View，网页的浏览量 uv：User View，访问的用户 一般来说，pv或者uv的统计，可以自己来做，也可以借助一些第三方的工具，比如cnzz，友盟等。 如果自己实现，pv比较简单，可以直接通过Redis计数器就能实现。但是uv就不一样，uv设计到另外一个问题，去重。 我们首先
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4051
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
Redis之HyperLogLog底层原理与使用场景
glenshappy的专栏
10-16 1125
9：HyperLogLog算法一开始就是为了大数据量的统计而发明的，所以很适合那种数据量很大，然后又没要求不能有一点误差的计算，HyperLogLog 提供不精确的去重计数方案，虽然不精确但是也不是非常不精确，标准误差是 0.81%，不过这对于页面用户访问量是没影响的，因为这种统计可能是访问量非常巨大，但是又没必要做到绝对准确，访问量对准确率要求没那么高，但是性能存储方面要求就比较高了，而HyperLogLog正好符合这种要求，不会占用太多存储空间，同时性能不错。最终数值存在一定误差。
Redis - HyperLogLog
浪人与酒
04-05 920
Redis - HyperLogLog Redis 在2.8.9版本添加了 HyperLogLog 结构 在介绍HyperLogLog之前，我们先思考一个常见的业务问题：如果开发一个大型网站，要记录每个网页每天的UV数据，我们应该如何实现呢？ 如果统计PV那非常容易，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当天的日期。这样来一个请求，incrby一次，最终就可以统计出所有的PV数据。但是UV不一样，它要去重，也许我们可以想到一个简单的方案，为每个网页创建一个set集合来存储当
Redis HyperLogLog 是什么？这些场景使用它~
CSDN云计算
03-30 437
作者 | 就是码哥呀来源 | 码哥字节在移动互联网的业务场景中，数据量很大，我们需要保存这样的信息：一个 key 关联了一个数据集合，同时对这个数据集合做统计。统计一个 APP 的日活、月活数；统计一个页面的每天被多少个不同账户访问量（Unique Visitor，UV））；统计用户每天搜索不同词条的个数；统计注册 IP 数。通常情况下，我们面临的用户数量以及访问量都是巨...
Redis HyperLogLog
jiaomubai的博客
10-19 139
Redis HyperLogLog 是用来做基数统计的算法。优点是：在输入元素的数量或者体积非常大事，计算基数所需的空间总是固定的，并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12KB 的内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成形成鲜明的对比。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会存储输入元素本身，所以，HyperLogLog 不能像集合那样，返回输入的各个元素。 那么，什么是基数
redis源码阅读—hyperloglog(基数统计)
qq_36581961的博客
01-07 466
文章目录背景基数统计伯努利试验估算优化Hyperloglog实现过程比特串分桶对应看看源码创建hll对象添加元素使用dense方式存储计算基数合并hyperloglog键回头再想想 其实在看hyperloglog源码之前，redis里这个高级数据类型都没有用过，只是了解一点它的命令。主要是用来基数统计，如日活用户统计(针对千万级别的访问量，如果实际没有那么大hashmap和bitmap都可以解决)这种需求会使用这种数据类型，性能会高很多。看了源码之后才发现，真是不太能看懂，里边涉及很多的算法和数学知识，尽管

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值