redis之HyperLogLog

最新推荐文章于 2023-02-23 09:10:18 发布
最新推荐文章于 2023-02-23 09:10:18 发布
阅读量90 收藏
点赞数 1
分类专栏： redis 文章标签： redis 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39992884/article/details/128235642
版权

1、介绍

HyperLogLog是一种数据结构集合的基数。作为一种概率数据结构，HyperLogLog以完美的精度换取有效的空间利用。Redis HyperLogLog实现最多使用12 KB，提供0.81%的标准误差。

2、基本命令

PFADD向HyperLogLog中添加项目。

> PFADD members 1
(integer) 1
> PFADD members 1
(integer) 1
> PFADD members 2
(integer) 1

PFCOUNT返回集合中项目去重数量的估计值。

> PFCOUNT members
(integer) 2

PFMERGE将两个或多个hyperloglog合并为一个。

3、用途

统计注册 IP 数
统计每日访问 IP 数
统计页面实时 UV 数
统计在线用户数
统计用户每天搜索不同词条的个数
说明：基数不大，数据量不大就用不上，会有点大材小用浪费空间
有局限性，就是只能统计基数数量，而没办法去知道具体的内容是什么
和bitmap相比，属于两种特定统计情况，简单来说，HyperLogLog 去重比 bitmap 方便很多
一般可以bitmap和hyperloglog配合使用，bitmap标识哪些用户活跃，hyperloglog计数

码农_heying
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis数据结构HyperLogLog
weixin_64161454的博客
03-06 106
redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指!作为代价，其测量结果是概率性的，有小于0.81%的误差。PV: 全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。
hyperloglog应用
大鸡腿的博客
06-22 1305
1.hyperloglog是应用在基数计算上。因为它不去存储数据，而是计算存储key值的数量，在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 2.hyperloglog基本redis语句 http://www.runoob.com/redis/redis...
redis数据结构及应用举例三之HyperLogLog
lonely_baby的博客
02-23 234
HyperLogLog算法的计数精度取决于哈希函数和子集划分的数量，如果哈希函数的分布比较均匀，并且子集的数量足够大，那么HyperLogLog的计数精度可以达到比较高的水平。HyperLogLog算法的基本思路是通过哈希函数将每个元素映射到一个指定的区间内，然后统计区间内不同元素的数量，从而得到集合中不同元素的数量。在统计过程中，为了降低内存的占用量，HyperLogLog采用了随机化采样的方式，将集合划分为多个子集，每个子集进行单独的统计，最后对所有子集的计数结果进行加权平均，得到最终的统计结果。
Redis之HyperLogLog底层原理与使用场景
glenshappy的专栏
10-16 1133
9：HyperLogLog算法一开始就是为了大数据量的统计而发明的，所以很适合那种数据量很大，然后又没要求不能有一点误差的计算，HyperLogLog 提供不精确的去重计数方案，虽然不精确但是也不是非常不精确，标准误差是 0.81%，不过这对于页面用户访问量是没影响的，因为这种统计可能是访问量非常巨大，但是又没必要做到绝对准确，访问量对准确率要求没那么高，但是性能存储方面要求就比较高了，而HyperLogLog正好符合这种要求，不会占用太多存储空间，同时性能不错。最终数值存在一定误差。
Redis的HyperLogLog是如何实现基数统计的？
最新发布
06-19
Redis是一个开源的内存数据库，属于NoSQL数据库的一种。它以其高性能、支持丰富的数据结构、持久化特性、复制、集群以及发布/订阅等特性而闻名。Redis是一个键值存储系统，每个键都对应一个值，这个值可以是字符串、...
hyperloglog-redis:Redis支持的HyperLogLog算法的实现
05-10
require 'hyperloglog-redis' counter = HyperLogLog::Counter.new(Redis.new) ['john', 'paul', 'george', 'ringo', 'john', 'paul'].each do |beatle| counter.add('beatles', beatle) end puts "There are ...
08-Redis HyperLogLog与事务和Redis 7.0那点事-ev.rar
03-08
08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar08-Redis HyperLogLog与事务和Redis 7.0那点事_ev.rar...
redis帮助文档之hyperloglog.md
03-12
redis帮助文档之hyperloglog
Redis 16.HyperLogLog.flv
02-14
Redis 16.HyperLogLog.flv
在presto中使用hyperloglog计算uv（设定精确度）
weixin_43953546的博客
10-29 1565
HyperLogLog利用基数估计算法，通过概率，在不追求绝对精确的情况下，可以有效的在大数据场景中统计uv值，同时消耗更少内存，并且大大减少计算时间。 对于HLL的算法详解，大部分博客都记录的很详细，随意贴上个链接就很够用——HyperLogLog算法详解 presto中也兼容了对HLL的使用，下面将介绍一下，如果在presto中使用HLL计算uv 1.建表。对于要计算uv的字段，需要用p...
[转]高压缩空间占用的 Hyper LogLog 算法
热门推荐
heiyeluren的blog（黑夜路人的开源世界）
11-18 2万+
Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5KThis is a guest post by Matt Abrams (@abramsm), from Clearspring, discussing how they are able to accurately estimate the card
HyperLogLog更精准的概率优化
byteRun的博客
04-08 407
Hyperloglog应用、原理和性能分析
m0_37558251的博客
04-10 3783
1.应用 Hyperloglog提供不精确的去重计数方案，如统计一个网站的UV(独立访客数)，同一个用户一天之内的多次请求只能计数一次，如果使用set集合来统计的话，会非常浪费存储空间。 虽然不精确但是也不是非常不精确，标准误差是0.81%。 2.原理 1.抛硬币问题 设想一个抛硬币的问题，假如你抛了很多次硬币，最多出现了两次连续的反面，我敢打赌你抛硬币的总次数不会太多，相反，如果你和我...
HyperLogLog介绍
专注互联网后端技术
10-24 430
  Redis HyperLogLog       Redis 在 2.8.9 版本添加了 HyperLogLog 结构。Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。       在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB...
详解 impala的ndv()函数 原理（HyperLogLog (HLL)）、使用方法、精度误差及替换方案
samur2的博客
02-15 2569
背景 最近使用impala做查询的时候，遇到一个sql 中使用多个列 count(distinct) 查询导致报错的情况，报错内容如下： org.apache.hive.service.cli.HiveSQLException: AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT ); deviating function: count(DI
（八)redis常用数据类型 HyperLoglog
皓阳当空-博客
09-15 538
1.HyperLoglog简介HyperLoglog是redis新支持的两种类型中的另外一种(上一种是位图类型Bitmaps)。主要适用场景是海量数据的计算。特点是速度快。占用空间小。同样是用于计算，HyperLoglog在适用场景方面与Bitmaps方面有什么不同呢。我个人的理解是，Bitmaps更适合用于验证的大数据，比如签到，记录某用户是不是当天进行了签到，签到了多少天的时候。也就是说，你不光
探索HyperLogLog算法（含Java实现）
燃烧杯的博客
08-22 2226
引言 HyperLogLog算法经常在数据库中被用来统计某一字段的Distinct Value（下文简称DV），比如Redis的HyperLogLog结构，出于好奇探索了一下这个算法的原理，无奈中文资料很少，只能直接去阅读论文以及一些英文资料，总结成此文。 介绍 HyperLogLog算法来源于论文《HyperLogLog the analysis of a near-optimal...
HyperLogLog 使用及其算法原理详细讲解，面试流程4轮技术面+1轮HR
m0_69377329的博客
04-11 927
前言： 求职季在即，技巧千万条，硬实力才是关键，听说今年疫情大环境不好，更要好好准备才行。MySQL是Java程序员面向高级的必备技能，很多朋友在面试时经常在这里折戟沉沙，饮恨不已。熟练掌握MySQL知识，在实践中具有很强的操作性，尤其是在互联网行业，不仅要写好代码、实现功能，而且还要在高并发的情况下能够正常运转。 这篇文章总结了许多关于MySQL方面的知识总结，以及面试多家总结出来的常问面试题，希望对大家有所帮助。 static class BitKeeper { /**
使用redis的HyperLoglog实现日访问量统计
03-29
1. 首先需要安装redis，可以参考redis官网的安装教程。 2. 创建一个新的HyperLoglog对象，用于统计每天的访问量。 ```bash PFADD daily_visits:2022-01-01 user1 PFADD daily_visits:2022-01-01 user2 PFADD daily_visits:2022-01-01 user3 ``` 3. 统计每天的访问量，使用PFMERGE命令将每天的HyperLoglog对象合并，最后得到总访问量。 ```bash PFMERGE daily_visits:2022-01-01 daily_visits:2022-01-02 daily_visits:2022-01-03 daily_visits:2022-01-04 daily_visits:2022-01-05 daily_visits:2022-01-06 daily_visits:2022-01-07 > total_visits PFCOUNT total_visits ``` 4. 可以使用脚本自动化统计每天的访问量，将HyperLoglog对象的key设置为日期格式，然后使用CRON定时任务执行脚本。 ```bash #!/bin/bash today=$(date '+%Y-%m-%d') yesterday=$(date -d "yesterday" '+%Y-%m-%d') visits=$(redis-cli PFCOUNT daily_visits:$today) redis-cli PFADD daily_visits:$today user1 user2 user3 redis-cli PFMERGE daily_visits:$today daily_visits:$yesterday > total_visits total=$(redis-cli PFCOUNT total_visits) echo "Today's visits: $visits" echo "Total visits: $total" ``` 以上是使用redis的HyperLoglog实现日访问量统计的简单示例。HyperLoglog可以高效地统计大量数据的基数，但也有一定的误差，误差率约为0.81%。因此，在具体应用中需要根据实际情况评估误差率是否可以接受。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值