Redis特殊类型（二）—— Hyperloglogs

最新推荐文章于 2024-03-16 19:38:03 发布
最新推荐文章于 2024-03-16 19:38:03 发布
阅读量139 收藏
点赞数
分类专栏： Redis合集 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JSDHBIV/article/details/118638427
版权

Redis特殊类型（二）

Hyperloglogs

  • redis中通过hyperloglogs用来进行基数统计的算法，技术估算存在一定的误差
  • 优点：在输入元素的数量或者体积非常大时，计算基数所需的空间总是固定的、且很小

基数集与基数

  • 基数集：一串数据集中，除去重复元素后的得到的数据集。
  • 基数：基数集中数据的个数（不重复的元素的个数）

举例：

数据集：{1,3,4,8,8,4,0}
基数集：{1,3,4,8,0}
基数：5

常用命令

pfadd

添加指定数据到Hyperloglogs中：pfadd key element [element …]

可一次添加多个数据。
在这里插入图片描述

pfcount

返回给定 HyperLogLogs的基数估算值：pfcount key [key …]

可一次估算多个Key的基数值。
在这里插入图片描述

pfmerge

将多个hyperloglogs合并为一个hyperloglogs：pfmerge destkey sourcekey [sourcekey …]

destkey：目标Key
sourcekey：源key

可以看出，目标key只能有一个，源key可以有多个。
在这里插入图片描述

应用场景

  • Hyperloglogs是用于基数统计的。

更多有关Redis的内容，详戳【Redis合集】，更多Redis命令，详戳【Redis中文官网】，其他内容，详戳主页

JSDHBIV
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis HyperLogLog，看这篇就够了
持之以恒
10-18 5584
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
Redis数据类型之HyperLogLog
u013048514的专栏
03-18 482
HyperLogLog是一种基数估计算法，用于估计一个集合中不同元素的数量。该算法使用的空间很小，通常只需要几千个字节就可以估算几十亿个元素的数量。它的原理是通过哈希函数将元素映射到位向量中，并对位向量中的值进行统计和计算，从而估算集合的基数。HyperLogLog算法是一种基于概率的算法，用于估计一个大型数据集的基数。它的名字来源于两个部分。LogLog表示该算法的核心思想是使用对数函数，其中Log是对数的意思。通过使用对数函数，我们可以将原始数据的巨大范围映射到一个更小的范围内，从而使算法更加高效。
【Redis】数据结构 - HyperLogLog
比嗨皮兔
04-04 623
使用场景 Redis 的 HyperLogLog 数据结构适用于需要进行基数（cardinality）估计的场景，即需要统计某个集合中不同元素的数量。 HyperLogLog 是一种概率性算法，可以在极小的内存空间下完成基数估计。因此，它广泛应用于大规模数据集的基数估计和去重等场景，如： 统计网站独立 IP 数量：使用 HyperLogLog 可以快速地统计网站独立 IP 的数量，而无需对所有 IP 进行去重和存储，从而节省大量内存空间。 统计在线用户数量：使用 HyperLogLog 可以在极短的时间内对
Redis 高级数据结构 HyperLogLog
qq_45376284的博客
06-06 485
HyperLogLog(Hyper [ ˈhaɪpə(r) ]) 并不是一种新的数据结构(实际类型为字符串类型) ，而是一种基数算法 , 通过HyperLogLog可以利用极小的内存空间完成独立总数的统计，数据集可以是IP、Email、ID等。如果你负责开发维护一个大型的网站，有一天产品经理要网站每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器的 key 后缀加上当天的日期。
Redis 命令：HyperLogLog
梁辰兴的博客
09-21 436
HyperLogLog 算法基于概率统计方法，能够在一定的误差范围内给出近似的结果，适用于对数据集的基数进行快速估计而不需要完全精确的计数。在实际使用中，需要注意数据分布和误差情况，以便做出合理的决策。Redis HyperLogLog 是一种用于估计基数（即唯一元素数量）的高级数据结构，它具有内存占用小、计算时间固定的优点，适用于对大规模数据的统计分析。总之，Redis HyperLogLog 是一种非常实用的数据结构，可以在内存使用和计算时间之间找到一个平衡点，实现对大规模数据的快速基数估计。
Redis数据类型及应用场景
01-07
2、Redis的每个数据类型是处理不同业务场景而诞生，基本数据类型为5种，从redis5.0版发布后新增了Stream数据类型，如下思路图： 3、其中跳表为插入，删除，查询比较快的动态数据结构，跳表是一个值有序的链表建立...
运维监控redis集群的工具——分享自_2018年9月1日_谷阳_首汽_DBA1
08-03
集群节点间的通信是基于 PING-PONG 机制的，使用二进制协议优化传输效率和带宽利用率。当节点间通信中断或超过半数节点检测到某一节点失效时，该节点会被标记为下线。这种机制确保了集群的稳定性，但也带来了一些...
Redis 数据类型
12-16
Redis 数据类型是 Redis 内存数据存储的基础，它支持五种主要的数据结构，分别是 String、Hash、List、Set 以及 Sorted Set（ZSet）。每种数据类型都有其独特的特性和用途，下面将详细介绍这些类型。 1. **String...
详解Redis 数据类型
09-08
String 是 Redis 最基础的数据类型，它是一个二进制安全的类型，可以存储任何数据，包括文本、图像或序列化的对象。每个键值对中的值最大可达 512MB。通过 `SET` 和 `GET` 命令，我们可以设置和获取键值对。例如： `...
redis的可视化工具——redisdesktopmanager
06-17
3. **数据浏览与编辑**：通过键值对的形式展示Redis中的数据，支持多种数据类型，如字符串、哈希、列表、集合和有序集合。你可以直接在界面上查看、添加、编辑和删除键值。 4. **命令行接口**：集成Redis命令行工具...
redis 高级数据类型之 HyperLogLog 算法详细介绍
一个火星程序员的专栏
10-30 1080
HyperLogLog是一个专门为了计算集合的基数而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数：近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用。
Redis之HyperLogLog底层原理与使用场景
glenshappy的专栏
10-16 1125
9：HyperLogLog算法一开始就是为了大数据量的统计而发明的，所以很适合那种数据量很大，然后又没要求不能有一点误差的计算，HyperLogLog 提供不精确的去重计数方案，虽然不精确但是也不是非常不精确，标准误差是 0.81%，不过这对于页面用户访问量是没影响的，因为这种统计可能是访问量非常巨大，但是又没必要做到绝对准确，访问量对准确率要求没那么高，但是性能存储方面要求就比较高了，而HyperLogLog正好符合这种要求，不会占用太多存储空间，同时性能不错。最终数值存在一定误差。
Redis中的HyperLogLog以及HyperLogLog原理
最新发布
qq_42581682的博客
03-16 1397
Redis中的hyperLogLog数据结构及原理
11. Redis数据类型--HyperLoglogs
林胖的专栏
06-15 326
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储
Redis(十) -- Redis数据类型(七) -- HyperLogLog
weixin_39724194的博客
08-25 377
简介 在工作中，经常越到
redis--hyperloglogs
weixin_43775889的博客
08-11 163
redis–hyperloglogs(基于基数统计的算法) 运用于浏览量 传统使用set 无序集合来统计 hyperloglogs优点在于占用内存少 缺点 官方文档表示容错率在0.81% PFADD PFADD key element [element ...] PFADD mykey a b c d e f g h PFCOUNT PFCOUNT key [key ...] PFCOUNT mykey PFMERGE PFMERGE destkey sourcekey [sourcek
Redis之HyperLogLog
qq_42688149的博客
06-16 2293
Redis之HyperLogLogRedis中的HyperLogLog（可用于统计网站访问量） Redis中的HyperLogLog（可用于统计网站访问量） 一般我们评估一个网站的访问量，有几个主要的参数： pv：Page View，网页的浏览量 uv：User View，访问的用户 一般来说，pv或者uv的统计，可以自己来做，也可以借助一些第三方的工具，比如cnzz，友盟等。 如果自己实现，pv比较简单，可以直接通过Redis计数器就能实现。但是uv就不一样，uv设计到另外一个问题，去重。 我们首先
Redis数据结构之hyperloglogs
unwrapping的博客
10-28 339
Redis数据结构之hyperloglogs 一、什么是hyperloglogs 和String一样，也是Redis支持的一种数据类型或者数据结构，用来做基数统计。 什么是基数？ 比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集就是 {1, 3, 5 ,7, 8}, 基数(不重复元素的个数)为5。 基数估计就是在误差可接受的范围内，快速计算基数。 hyperloglogs的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。
Redis(12)三大特殊数据类型之 hyperloglogs（基数统计）
OVO_LQ_Start的博客
11-02 267
Hyperloglogs 1.什么是基数 集合中不重复元素的个数：A{ a, b ,c ,d ,e c } 集合基数为5. 2.什么是Hyperloglogs 是一种概率数据结构，用于统计唯一的事物（从技术上讲，这是指估计集合的基数。 算法是用内存换取精度的：一个标准误差作为结束的估计值，误差小于1%。 最多内存不会超过12k bytes 3.统计元素与添加值：pfcount 与 pfadd 127.0.0.1:6379> pfadd mykey a b c d e f g i j k (inte
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值