【HLL】使用 HyperLogLog 去重案例

最新推荐文章于 2024-07-25 11:52:38 发布
最新推荐文章于 2024-07-25 11:52:38 发布
阅读量746 收藏 1
点赞数 1
分类专栏： 不体系
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/107827027
版权
不体系 专栏收录该内容
157 篇文章 453 订阅 ¥39.90 ¥99.00
订阅专栏
本文介绍了HyperLogLog在统计网站独立访客（UV）中的应用。HyperLogLog是一种用于估算集合中不同元素基数的算法，能有效处理重复元素，以较低的内存开销提供高精度的估算。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

HyperLogLog一个常用的场景就是统计网站的UV。

##基数 简单来说，基数（cardinality，也译作势），是指一个集合（这里的集合允许存在重复元素）中不同元素的个数。例如看下面的集合： {1,2,3,4,5,2,3,9,7} 这个集合有9个元素，但是2和3各出现了两次，因此不重复的元素为1,2,3,4,5,9,7，所以这个集合的基数是7。

maven

 		<dependency>
            <groupId>net.
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Redis HyperLogLog 统计UV / 去重统计 /基数统计
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-26 720
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，
Flink去重第三弹：HyperLogLog去重
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 529
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。 《2021年最新版大数据面试题全面开启更新》 HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定的
Hyperloglog去重
u011624157的专栏
08-10 407
虽然这种算法能大大地减少存储开销，但是随着数据量的增大，它依然面临着存储上的压力。在本篇文章中将要介绍的 HyperLogLog（下称 HLL）是一种非精确的去重算法，它的特点是具有非常优异的空间复杂度（几乎可以达到常数级别）。 HLL 算法需要完整遍历所有元素一次，而非多次或采样；该算法只能计算集合中有多少个不重复的元素，不能给出每个元素的出现次数或是判断一个元素是否之前出现过；多个使用 HLL 统计出的基数值可以融合。 HLL 算法有着非常优异的空间复杂度，可以看到它的空间占用随着基数值的增长并没
Redisson中的RHyperLogLog几个常用的使用场景及去重例子
最新发布
qq_40592590的博客
07-25 617
redis
关于HyperLogLog去重优化
张普的专栏
01-07 873
点击箭头处“蓝色字”，关注我们哦！！推荐阅读1Flink去重第一弹: MapState去重　2Flink去重第二弹：SQL方式　3Flink去重第三弹：HyperLogLog去重在Hy...
HyperLogLog(不精确的去重计数方案)
weixin_33897722的博客
03-13 201
pfadd 用法和sadd一样 pfcount 用法和scard一样 127.0.0.1:6379> get lan (nil) 127.0.0.1:6379> pfadd lan js (integer) 1 127.0.0.1:6379> pfadd lan php (integer) 1 127.0.0.1:6379> pfcount lan (integer) 2 ...
【Redis】Redis Hyperloglog 大数据去重算法分析
九师兄
04-09 225
我们在上面的算法中使用了 1024 个桶进行独立计数，不过在 RedisHyperLogLog 实现中用的是 16384 个桶，也就是 2^14 ，每个桶的 maxbits 需要6个bit来存储，最大可以表示 maxbits=63 ，于是总共占用内存就是“（2^14）× 6/8 ”，算出来的结果即是 12KB。
redis中HLL的使用hyperloglog
weixin_39406672的博客
04-26 824
redis中HLL的使用 这里给出官方文档（中文翻译版）连接，里面关于时间复杂度、返回值、命令方式、使用案例等等都有详细说明 本文对每个命令都简介总结并个人案例展示 pfadd 添加 影响基数估值则返回1否则返回0.若key不存在则创建 时间复杂度O(1) 127.0.0.1:6379> pfadd m1 1 2 3 4 1 2 3 2 2 2 2 (integer) 1 pfcount ...
Druid精确去重设计与实现解析
在大数据场景下，去重是常见的需求，Druid通过使用HyperLogLog（HLL）算法实现了高效的近似去重。HLL是一种概率统计方法，能够在较低的空间复杂度下估算集合的唯一元素数量，同时保持较高的精度。Druid中的`...
BloomFilter & Hyperloglog 去重 & 统计
u011250186的博客
09-12 724
去重小结 最近在做爬虫的时候，遇到了去重的问题，关于去重，有很多地方可以做，比如 内存级别，利用 hashmap，准确，性能好但是内存有限 数据库，利用唯一键，准确，存储量大但是性能差 内存级别 BloomFilter，利用 bitmap，性能好，存储量比 hashmap 大得多，但是有误差 实际使用的时候要根据场景去 tradeoff，没有最好的办法，只有最合适的办法 基数统计 ...
60-320-040-使用-去重-HyperLogLog 去重计数
九师兄
07-03 655
1.视界 2.概述 在需要对数据进行去重计数的场景里，实现方式是将数据明细存储在集合的数据结构中。然而，随着数据随时间的不断累积，明细数据占用了大量的存储空间。使用 HyperLoglog 去重计数，在牺牲非常小准确性的情况下，可以极大的减少数据存储。 依赖 编辑 pom.xml 文件，添加依赖： <dependency> <groupId>net.agkn&...
（12）Redis HyperLogLog
Listen·Rain的博客
02-11 85
Redis HyperLogLog Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogL.
HyperLogLog（HLL）介绍
m0_54187478的博客
10-19 903
HLL适用于需要估算不同元素数量的场景，但不适用于需要准确计数的场景。总之，HyperLogLog 是一种非常有用的数据结构，特别适合处理大规模数据集的基数估计问题，但它不适用于所有类型的应用程序。HyperLogLog是一种有趣且有用的数据结构，用于解决估算唯一元素数量的问题，通常与NoSQL数据库（如Redis）一起使用，以便在处理大数据集时执行快速且节省内存的计数操作。社交网络分析： 在社交网络中，HLL可用于估计不同用户的朋友数量或社交网络的规模，而无需跟踪每个用户的详细信息。
HyperLogLog
weixin_34393428的博客
10-05 96
数据量一大，连统计基数也成了一个麻烦事。在使用kylin的时候，遇到对度量值进行基数统计，使用的是Hyperloglog算法，占用内存小，误差小，实乃不错的方法，但查阅网上的资料与内容，感觉未能理解的太明白。经过一番折腾，自己给整理出一个版本出来。 算法的论文是《HyperLogLog the analysis of a near-optimal cardinality estimation ...
hyperloglog
新博客：https://aping-dev.com/
09-14 487
目的 估计一个多重集中有多少个不同的数字。 论文中的算法 http://www.lix.polytechnique.fr/Labo/Eric.Fusy/Articles/FlFuGaMe07.pdf 数学解释 https://blog.csdn.net/firenet1/article/details/77247649 步骤 将多重集中的每一个数字vvv进行哈希，得到xxx； ...
Redis HyperLogLog 命令学习及原理浅析
u012948302的专栏
08-27 485
本文详细介绍了Redis 最新版6.2.x，HyperLogLog的指令解析和原理介绍，并配有丰富示例。通过本文，可以快速掌握Bitmap的使用方式，并理解其工作原理。
大数据分析常用去重算法分析『HyperLogLog 篇』
Jian Sun_的博客
10-21 1130
在上篇推送中，Kyligence 大数据工程师陶加涛为大家介绍了利用 Roaring Bitmap 来进行精确去重。虽然这种算法能大大地减少存储开销，但是随着数据量的增大，它依然面临着存储上的压力。在本篇推送中将要介绍的 HyperLogLog（下称 HLL）是一种非精确的去重算法，它的特点是具有非常优异的空间复杂度（几乎可以达到常数级别）。 HLL 算法需要完整遍历所有元素一次，而非多次或采样；该算法只能计算集合中有多少个不重复的元素，不能给出每个元素的出现次数或是判断一个元素是否之前出现过；多个使
RedisHyperLogLog的使用方法
05-12
例如，将 key 为 hll2、hll3 的 HyperLogLog 合并到 key 为 hll1 的 HyperLogLog 中： ``` PFMERGE hll1 hll2 hll3 ``` 需要注意的是，合并的 HyperLogLog 必须属于同一种类型的数据，否则会返回错误信息。 4. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值