Redis数据结构之HyperLogLog

最新推荐文章于 2024-09-19 19:45:31 发布
最新推荐文章于 2024-09-19 19:45:31 发布
阅读量178 收藏
点赞数
分类专栏： redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29443327/article/details/107139904
版权
Redis HyperLogLog是一种用于基数统计的算法，仅需12KB内存即可估算接近2^64个不同元素的基数。适用于大规模数据集的基数估算，如统计注册IP数、访问IP数等。其缺点是无法获取具体数据内容，但通过pfadd、pfcount和pfmerge等命令，可以进行元素添加、基数估算和HyperLogLog合并。虽然存在0.81%的标准误差，但在内存效率和大数据处理上具有优势。
摘要由CSDN通过智能技术生成

简介

redis在2.8.9版本添加 了HyperLogLog结构，Redis HyperLogLog是用来做基数统计的算法，HyperLogLog优点是，在输入元素的数量或者体积非常大时，计算基数所需的空间总是固定的，并且是很小的。
在redis里面，每个HyperLogLog键只需要花费12kb内存，就可以计算接近2^64个不同元素的基数，这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比，但是因为HyperLogLog只会根据输入元素来计算基数，而不会存储输入元素本身，所以HyperLogLog不能像集合那样，返回输入的各个元素。

什么是基数？
数据集{1，3，5，7，5，7，8}，那么这个数据集的基数集为{1，3，5，7，8}，基数（不重复元素）为5，基数估计就是在误差可接受的范围内，快速计算基数。

为什么需要HyperLogLog?
如果统计一亿个数据的基数值，大约需要内存100000000/8/1024/1024 大约12M，内存减少占用的效果显著。
然而统计一个的对象的基数值需要12M，如果统计10000个对象就需要将近120G，同样不能广泛用于大数据

常用语法命令

1、添加指定元素到HyperLogLog中

PFADD key element [element
最低0.47元/天 解锁文章
潼筱果
关注
专栏目录
Redis-Redis 高级数据结构 HyperLogLog与事务
weixin_43874650的博客
11-29 931
如果这样的页面很多，那 所需要的存储空间是惊人的。为这样一个去重功能就耗费这样多的存储空间，值 得么？该实现一个明显的问题是内存占用过多，所有从库的连接在主库上是独立的，同样举抛硬币的例子，如果只有一组抛硬币实验，显然根据公式推导得到的。那么基于上面的估算结论，我们可以通过多次抛硬币实验的最大抛到正面的。大家应该对事务比较了解，简单地说，事务表示一组动作，要么全部执行，但是，如果你的页面访问量非常大，比如一个爆款页面几千万的 UV。列中的未执行命令，并不会回滚已经操作过的数据，这一点要和关系型数据库的。
redis数据结构--hyperloglog
qq_17275841的博客
10-28 542
redis数据结构--hyperloglog1.业务背景介绍现存实现手法以及痛点公司广告落地页项目的 一个统计pv，uv的需求第一版实现方案业务快速增长面临的痛点2.业务场景调研，bitmap--hyperloglog现存业务场景：建模为程序问题bitmaphyperloglog3.优缺点和业务契合度bitmaphyperloglog4.hyperloglog数学原理介绍提问环节伯努利过程伯努利过程转化为程序问题建模：5.redis的实现以及代码中的使用redis中hyperloglog的实现!问题LogL
Redis的高级数据结构HyperLogLog
zzhongcy的专栏
08-11 268
前言 最近研究HyperLogLog，网上查了查资料，这里记录一下 什么是HyperLogLog HyperLogLog是最早由Flajolet及其同事在 2007 年提出的一种估算基数的近似最优算法。但跟原版论文不同的是，好像很多书包括 Redis 作者都把它称为一种新的数据结构(new datastruct)(算法实现确实需要一种特定的数据结构来实现)。 统计需求 思考这样的一个场景： 如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站上每个网页的UV(独...
分布式缓存技术redis学习（二）——详细讲解redis数据结构（内存模型）以及常用命令...
weixin_34255793的博客
07-18 287
Redis数据类型 与Memcached仅支持简单的key-value结构的数据记录不同，Redis支持的数据类型要丰富得多，常用的数据类型主要有五种：String、List、Hash、Set和Sorted Set。 Redis数据类型内存结构分析 Redis内部使用一个redisObject对象来表示所有的key和value。redisObject主要的信息包括数据类型（type）、编码方...
Redis学习总结—数据结构 (二)
weixin_43610420的博客
09-27 141
Redis 除了有五种常用的数据类型外，还有几种特殊的数据类型，主要用来实现一些特定的场景数据存储。 HyperLogLog Redis 在 2.8.9 版本添加了 HyperLogLog 结构。Redis HyperLogLog 是用来做基数 (不重复的元素) 统计的算法，HyperLogLog 的优点是，对海量数据的计算基数统计所需的空间是固定的且很小，计算速度很快。 在 Redis 里面，每个 HyperLogLog 键只需要12 KB 的内存，就可以计算接近 264个不同元素的基数，不过数据量较小时
Redis HyperLogLog数据结构
mk33092250的博客
04-19 323
Redis HyperLogLog HyperLogLog一般用作基数统计，如统计网站访问量，视频播放量啊等。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 HyperLogLog怎么实现的 HyperLogLog只需要花费12kb，就可以计算这么多基数。很明显，不是通过直接存储元素值比较实现的。那么既然不存储元素，是否这种存储方式也有误差呢？ 查.
Redis数据类型之HyperLogLog
u013048514的专栏
03-18 535
HyperLogLog是一种基数估计算法，用于估计一个集合中不同元素的数量。该算法使用的空间很小，通常只需要几千个字节就可以估算几十亿个元素的数量。它的原理是通过哈希函数将元素映射到位向量中，并对位向量中的值进行统计和计算，从而估算集合的基数。HyperLogLog算法是一种基于概率的算法，用于估计一个大型数据集的基数。它的名字来源于两个部分。LogLog表示该算法的核心思想是使用对数函数，其中Log是对数的意思。通过使用对数函数，我们可以将原始数据的巨大范围映射到一个更小的范围内，从而使算法更加高效。
Redis高级数据结构——HyperLogLog
loser与你
06-07 336
Redis高级数据结构——HyperLogLog redis的高级数据结构HyperLogLog提供不精确的去重计数方案，虽然不精确，但是标准误差也达到了0。81%，也足以满足很多场合了。 比如，要对大型网站的每天独立访客数进行大致统计的话，就可以用到HyperLogLog了。 1.HyperLogLog的使用方法 pfadd key element [element …] #增加计数，类似于set的sadd pfcount key #获取计数，类似于set的scard 以redis-cli命令行的方式
Redis数据结构 HyperLoglog
许诗宇的博客
11-12 283
目录 HyperLogLog 简介 关于基数统计 基数统计的常用方法 概率算法 HyperLogLog 原理 代码实验 更近一步：分桶平均 真实的 HyperLogLog Redis 中的 HyperLogLog 实现 密集型存储结构 稀疏存储结构 对象头 HyperLogLog 的使用 注意：本文参考Reids—神奇的HyperLoglog解决统计问题 HyperLogLog 简介 HyperLogLog是最早由 Flajolet 及其同事在 2007 年提出的一种...
Redis数据结构之HypeLogLog原理
cuiyaocool的博客
09-13 927
数学之美，通过概率以及事件发生的次数预估样本总量，这就是HypeLogLog的原理，本文在阅读了多篇文章和观看多个视频后记录下来，共享~
Redis数据结构
makersy的博客
03-29 1万+
命令学习可以使用 在线redis环境。 数据类型 Redis 比较常见的数据结构有 string、list、hash、set、sorted set 等，但是 Redis 还有比较高级的3种数据结构：HyperLogLog、Geo、BloomFilter。 String（字符串） String 是 Redis 最简单最常用的数据结构，也是 Memcached 唯一的数据结构。在平时的开发中，String 可以说是使用最频繁的了。 底层实现： 如果一个字符串对象保存的是整数值， 并且这个整数值可以用 long
Redis：HyperLogLog使用与应用场景
热门推荐
maoyuanming0806的博客
08-19 1万+
本文介绍redis的HyperLogLogde 命令使用和其他统计方式以及应用场景。 本文最后记录了HyperLogLog算法相关参考链接 简介 基数计数的演进 使用一般集合或数据结构来处理如HashSet或B+树 bitmap 概率算法 算法白话说明 redis中HLL的使用 pfadd 添加 pfcount 获得基数值 pfmerge 合并多个key ...
Redis 数据类型——hyperloglog
Hanyinh的博客
08-14 1631
一、hyperloglog 介绍 1、hyperloglog 简介 Redis 中 hyperloglog 数据类型是 2.8.9 版本引入的，是一种概率数据结构，用来估算数据的基数。基数就是指一个集合中不同值的数目，比如 a, b, c, d 的基数就是 4，a, b, c, d, a 的基数还是 4。虽然 a 出现了两次，但是只会被计算一次。 ​ hyperloglog 通常用来统计一个集合中不重复的元素个数。一个很常见的例子就是统计某个文章的 UV（Unique Visitor，独立访客，一般可以理解
如何使用 maxwell 同步到 redis?
最新发布
小丁的博客
09-19 685
接下来，你需要一个消费者程序来监听消息队列（如Kafka），读取Maxwell发送的变更事件，并将这些事件同步到Redis。这个消费者程序可以用Java编写，使用相应的消息队列客户端库（如Kafka的Java客户端）来读取消息，并使用Jedis或Lettuce等Redis客户端库来与Redis交互。，简称CDC）的工具，它可以将MySQL的binlog事件转换成JSON格式，并发送到消息系统中，如Kafka、RabbitMQ等。Maxwell可以将捕获的变更事件发送到消息队列系统，如Kafka。
Redis的Key的过期策略是怎样实现的？
daydayup
09-19 399
在学习Redis时，我们知道可以设置Key的过期时间，我们还知道，Redis一大特点–。那么当Redis中的数据量起来时，如果直接遍历所有的Key，那么对于Key过期时间的校验应该很费时间，那么Redis究竟是怎样做的呢？本文就来探讨关于Redis中的Key的过期册策略。Redis中的过期策略有两种。
【Redis】之Geo
weixin_73060900的博客
09-16 485
对Geo的基本命令和Spring命令的概述，并且进行简单举例
Redis
fxbsdl的博客
09-16 638
redis是一个的，将数据存储到中，的存储数据的一款可以用来当作1、（秒杀的商品数量信息），3、（如：俩个Java项目连接一个redis）1、可以将数据存储在内存中，也可以将数据持久化到硬盘上2、性能高，redis能读的速度是110000次/秒，写的速度是80000次/秒3、提供了丰富的数据结构存储数据为什么使用redis？大量用户连接数据库，数据库就会出现瓶颈（连接数量太多，io时间长）为了减轻数据库的压力，有些数据就直接存储到redis中，从而实现对关系型数据库的保护。redis安装。
Redis 集群
qq_59677536的博客
09-13 1011
Redis高可用
Redis数据结构详解：十五分钟入门
"Redis数据结构的十五分钟介绍" Redis是一个高性能的键值存储系统，它不仅局限于简单的键值对，而是作为一个数据结构服务器，提供多种数据类型以满足不同的存储需求。以下是对Redis支持的主要数据类型的详细解释： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值