Redis—神奇的HyperLoglog解决统计问题

最新推荐文章于 2024-08-13 18:29:56 发布
最新推荐文章于 2024-08-13 18:29:56 发布
阅读量141 收藏
点赞数
文章标签： python 算法 java 编程语言 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjEyNjc0OQ==&mid=2247493465&idx=1&sn=3992389929751d8e1da9725e6ca519a1&chksm=fb84772bccf3fe3de230040285da1cf09c4c17b24922e20f905e291ada6d23f24821c07b6cdc&scene=126&&sessionid=0
版权
HyperLogLog是一种用于近似计算大型集合中唯一元素数量的算法，由Flajolet等人在2007年提出。它常被称作一种数据结构，因为其实现需要特定的数据结构。基数统计在互联网场景中尤为重要，例如统计网站的独立访客(UV)。了解HyperLogLog的工作原理，可以参考在线动态演示网站。
摘要由CSDN通过智能技术生成

9a8a6c9eafb1474ff1b11c78e422353c.png

若有收获,请记得分享和转发哦

一、HyperLogLog 简介

HyperLogLog 是最早由 Flajolet 及其同事在 2007 年提出的一种 估算基数的近似最优算法。但跟原版论文不同的是，好像很多书包括 Redis 作者都把它称为一种 新的数据结构(new datastruct) (算法实现确实需要一种特定的数据结构来实现)。

关于基数统计

基数统计(Cardinality Counting) 通常是用来统计一个集合中不重复的元素个数。

思考这样的一个场景： 如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站上每个网页的 UV(独立访客，每个用户每天只记录一次)，然后让你来开发这个统计模块，你会如何实现？

84d4a3948587e6c7b87dc0f47815b52f.png

a03786821c0d8db0220e161c15f51941.png

c9ee73cd601661a13c6dd57e560c1f8e.png

cc21c004a7b2d4c504a2c6851650af3e.png

8817a238bc9fa50a8e6f08e9ba952198.png

695ddd627e9806e150150b4dd75bfb7f.png

9d3b44fef58b8dc27c4e02ef5350b5a8.png

da0b8d334b20562ce10c9b1ba34c9749.png

e0bdb88c8ff8994b5537432075a27792.png

dc969169db6dbbcea2bf928903886623.png

00a7780cc7d9a5cecb4cae3f45070b62.png

a0c5efefa7860f6efff600dc534354dc.png

7a71851df99d1aefeaffeca8771a8af3.png

dfe70f6343c91a8673135ec3164da814.png

有一个神奇的网站，可以动态地让你观察到 HyperLogLog 的算法到底是怎么执行的：http://content.research.neustar.biz/blog/hll.html

0227267d798f3c3409083aa7439bea38.png

e8b7ad4ff5e912150333083f36a359d2.png

dddf9b058a6e029acd76e823b4afbf27.png

9f4fed5890cd666522ea09809597217d.png

f4bdf2fa5b3a2fe286510e37198e764a.png

07acd15a0272bf3df91cac1e447df53c.png

b90a754e0dd740e7000599c7f61f53c4.png

c8eec6738f28e83893340dec7bd6e296.png

c764e2cee3e9ac19561d4e74a9548726.png

a4cfa411ae3466f0da4e07fb6a5bc51d.png

49a95efd6b7c3267a3bd66948c688665.png

IT技术精选文摘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis HyperLogLog 计数统计
KK_hou的博客
09-02 246
HyperLogLog的作用 HyperLogLog的作用 用于统计海量数据的基数（存在误差） HyperLogLog是Redis中的高级数据结构，它主要用于对海量数据（可以统计2^64个数据）做基数统计（去重统计数量）。它的特点是速度快，占用空间小（12KB）。但是计算存会在误差，标准误差为0.81%。HyperLogLog只会根据输入元素来计算基数，而不会储存输入元素本身，所以他并不能判断给定的元素是否已经存在了。 //1.访问接口统计数据 opsForHyperLogLog redisTemp
Redis HyperLogLog问题
sinat_27016095的博客
04-19 259
不管存储的内容是什么，在 Redis 中每个HyperLogLog键占用的内容都是 12K，理论存储近似接近 2^64 个值。 这是一个基于基数估计的算法，只能比较准确的估算出基数，可以使用少量固定的内存去存储并识别集合中的唯一元素。但是这个估算的基数并不一定准确，是一个带有 0.81% 标准错误（standard error）的近似值。但是，也正是因为只有 12K 的存储空间，所以，它并不实际存储数据的内容。 HyperLogLog本质上来源于生活中一个小的发现，假设你抛了很多次硬币，你告诉在这次抛硬币
用redis做用户访问数据统计HyperLogLog及Bitmap高级数据类型
qq_44220795的博客
06-26 1040
本文使用RedisTemplate来做用户访问数据的统计，其中使用的数据类型为HyperLogLog及Bitmap。
sparkstream计算pv,uv，每小时热词
qq_47944580的博客
11-07 279
1.热词的统计我们用到自然语言处理，采用nlp分词，对微博数据进行分词处理2.flatmap的使用map中函数式方法返回值为对象，也就是原始流中有n个元素，处理之后的流中元素个数也是n个。即使你在返回的时候返回了多个元素如数组，他也会把数组当成一个对象处理。flatMap中函数式方法返回值为流，flat为扁平的意思，也就是说，我们可以通过flatMap改变原始流中对象的个数，flatMap会将返回的流合并成一个流，而不是当成对象处理。有二箱鸡蛋，每箱5个，现在要把鸡蛋加工成煎蛋，然后分给学生。
Redis HyperLogLog 命令学习及原理浅析
u012948302的专栏
08-27 394
本文详细介绍了Redis 最新版6.2.x，HyperLogLog的指令解析和原理介绍，并配有丰富示例。通过本文，可以快速掌握Bitmap的使用方式，并理解其工作原理。
【黑马点评】UV统计
仰望-星空~~的博客
11-03 223
UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。通常来说UV会比PV大很多，所以衡量同一个网站的访问量，我们需要综合考虑很多因素，所以我们只是单纯的把这两个值作为一个参考值。
追求性能极致 - Redis：HyperLogLog实现海量数据基数统计
smart_an的专栏
04-27 893
我们来回顾下在这个系列的第一篇深刻理解高性能Redis的本质中介绍过Redis的几种基本数据结构，动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODING_SKIPLIST)哈希表(REDIS_HASH)
wyhll:基于2位HyperLogLog的梦想精确近似集基数估计器。 比Redis HyperLogLog更准确，更快
03-13
本文将深入探讨一种基于2位HyperLogLog的优化版本——wyhll，它由王翼提出，相比Redis的HyperLogLog，具有更高的精度和更快的速度。 HyperLogLog算法的核心思想是使用概率统计方法来估算集合的基数。它通过哈希函数...
Redis全套学习笔记
05-25
- **HyperLogLog**：估算不重复元素的数量，占用空间小，适用于统计唯一用户等场景。 - **Geo**：地理位置信息处理，支持添加、查询地理位置数据，常用于实现地理位置相关的服务。 6. Redis 高可用与集群： ...
redis 离线集群redis5.0以上版本
12-04
Redis 5.0引入了官方的集群解决方案——Redis Cluster，它允许用户在多个节点之间分布数据，以实现高可用性和水平扩展。Redis Cluster无需中心化的协调节点，而是通过节点间的互相通信来管理集群状态。每个节点都...
Redis 从熟悉到精通
02-20
Redis 具有多种数据结构和高级功能，使其成为解决高并发问题的理想选择。 #### 二、数据类型 Redis 支持五种主要的数据类型：String、Hash、List、Set 和 Sorted Set。除此之外还有一些扩展的数据类型如 Geo、...
redis高级命令实践.zip
06-09
7. **HyperLogLog**：Redis还提供了HyperLogLog数据结构，用于估算不重复元素的数量，适用于统计网站访问量等场景，其空间效率非常高。 8. **Bitmaps**：位图是处理大量二进制数据的有效工具，如用户签到记录、在线...
redis HyperLogLog，看这篇就够了
持之以恒
10-18 5629
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
Redis之HyperLogLog底层原理与使用场景
chongfa2008的博客
09-10 7341
1：业务场景引入 HyperLogLog常用于大数据量的统计，比如页面访问量统计或者用户访问量统计。 ①需求：要统计一个页面的访问量(PV) ①方案：直接用redis计数器或者直接存数据库都可以 ②需求：要统计一个页面的用户访问量(UV)，即：一个用户一天内如果访问多次的话，也只能算一次 ②方案：可能会想到用SET集合来做，因为SET集合是有去重功能的，key存储页面对应的关键字，value存储对应userId ③需求：假如有几千万访问量，为了统计一个访问量，要频繁创建SET集合对象。
Redis之HyperLogLog
qq_42688149的博客
06-16 2294
Redis之HyperLogLogRedis中的HyperLogLog（可用于统计网站访问量） Redis中的HyperLogLog（可用于统计网站访问量） 一般我们评估一个网站的访问量，有几个主要的参数： pv：Page View，网页的浏览量 uv：User View，访问的用户 一般来说，pv或者uv的统计，可以自己来做，也可以借助一些第三方的工具，比如cnzz，友盟等。 如果自己实现，pv比较简单，可以直接通过Redis计数器就能实现。但是uv就不一样，uv设计到另外一个问题，去重。 我们首先
玩转Redis-HyperLogLog统计微博日活月活
zxiaofan.com
07-19 1600
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【9】篇。 日活数据统计面临哪些挑战？ HyperLogLog必知，HyperLogLog和Sets的区别，HyperLogLog命令对比分析，HyperLogLog命令注意事项。HyperLogLog的应用场景
【Redis笔记】一起了解 Redis 中的 HyperLogLog 算法？
长路漫漫的歇脚处
12-30 2464
一起了解 HyperLogLog 算法？什么是伯努利试验？
redis hyperloglog
weixin_30606669的博客
09-16 222
Redis 在 2.8.9 版本添加了 HyperLogLog 结构 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计...
【python学习】深入解析 `jq` 库：JSON 处理的利器
最新发布
m0_54007171的博客
08-13 234
jq库是 Python 对流行的命令行工具jq的封装。它允许你直接在 Python 中使用jq的查询语言来处理 JSON 数据。借助jq，你可以轻松地对 JSON 数据进行过滤、选择、转换、聚合等操作，极大地简化了代码复杂度。
HyperLogLog：高效去重统计利器
在IT行业中，特别是在大型网站的性能优化和数据分析场景下，遇到的一个常见挑战是如何高效地统计网站每个...了解并掌握如何在实际项目中运用HyperLogLog，无疑能让你在IT行业中“四两拨千斤”，解决复杂的计数问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值