redis数据类型之hypperLoglog

最新推荐文章于 2023-11-29 23:54:44 发布
最新推荐文章于 2023-11-29 23:54:44 发布
阅读量301 收藏
点赞数
分类专栏： Redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45665211/article/details/115694007
版权
本文介绍了Redis中的HyperLogLog数据结构，用于统计唯一值（UV）的算法，如日活跃用户。pfadd命令用于添加不重复的数据，pfcount计算UV的粗略值，pfmerge则用于合并多个HyperLogLog以统计更大范围的UV。通过这些工具，可以有效地进行日、周、年的UV统计，并结合pfmerge进行周期性的数据聚合，从而过滤垃圾数据。
摘要由CSDN通过智能技术生成

pfadd key [value…] 添加东西 添加成功返回1
pfcount key [key…] 计算一个或多个pf的独立总数 如果是多个返回最大值 计算的是一个粗略值
计算的方式暂时没懂
在这里插入图片描述
pfmerge destKey [sourcekey…] 求多个pf的并集并赋值给destKey
在这里插入图片描述
可以利用pfcount的粗略算法来统计今天的uv值/周/年(点击量)
周/年的话需要merge

利用pfadd不能添加相同的值可以做判断是否是垃圾数据
在这里插入图片描述

森少大大
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis学习之 redis hyperloglog
li_w_ch的博客
12-03 214
redis HyperLogLog : reids在2.8.9版本添加了hyperloglog结构。它是用来做基数统计的算法，优点是，在输入元素的数量或者体积非常大时，计算技术所需要的空间总是固定的、并且是很小的。 在redis里面，每个hyperloglog键只需要花费12KB内存，就可以计算接近2的64次方个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为HyperLogLog只会根据输入元素来计算基数，而不会存储元素本身，所以HyperLogLog不能像集合
Redis（13）—— Hyperloglog
weixin_45418001的博客
06-01 172
Hyperloglog 什么是基数？ A {1,3,5,7,8,7} B{1，3,5,7,8} 基数（不重复的元素） = 5，可以接受误差！ 简介 Redis 2.8.9 版本就更新了 Hyperloglog 数据结构！ Redis Hyperloglog 基数统计的算法！ 优点：占用的内存是固定，2^64 不同的元素的技术，只需要废 12KB内存！如果要从内存角度来比较的话 Hyperloglog 首选！ 网页的 UV （一个人访问一个网站多次，但是还是算作一个人！） 传统的方式， set 保存用户的id
[转]高压缩空间占用的 Hyper LogLog 算法
热门推荐
heiyeluren的blog（黑夜路人的开源世界）
11-18 2万+
Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5KThis is a guest post by Matt Abrams (@abramsm), from Clearspring, discussing how they are able to accurately estimate the card
HyperLogLog详解
教官的博客
04-27 2278
HyperLogLog 是redis 2.8.9版本中新增的，是用来做基数统计的算法。 HyperLogLog 优点：在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。（在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。） 缺点...
redis的hyperloglog
weixin_43472934的博客
02-27 496
什么是基数？ A{1,3,5,7,8,7} B{1,3,5,7,8} 基数就是不重复的元素个数=5，可以接受误差 hyperloglog简介 Redis2.8.9 版本就更新了hypeloglog数据结构 redis hyperloglog 基数统计的算法 使用场景 网页的UV网页的访问量（一个人访问一个网站多次，但是还是算作一个人） 传统的方式，set保存用户的id，然后就统计set中的元素数量作为标准判断。这种方式如果保存大量的用户id，会很耗内存。我们的目的是为了技术，而不是保存用户id。 hyper
Redis数据类型及应用场景
01-07
2、Redis的每个数据类型是处理不同业务场景而诞生，基本数据类型为5种，从redis5.0版发布后新增了Stream数据类型，如下思路图： 3、其中跳表为插入，删除，查询比较快的动态数据结构，跳表是一个值有序的链表建立...
详解Redis 数据类型
09-08
Redis 数据类型是 Redis 存储数据的核心组成部分，它提供了丰富的数据结构，使 Redis 成为了一个功能强大的数据库系统。本文将详细介绍 Redis 支持的五种数据类型：String、Hash、List、Set 和 Zset（Sorted Set）。...
Redis 数据类型
12-16
Redis 数据类型是 Redis 内存数据存储的基础，它支持五种主要的数据结构，分别是 String、Hash、List、Set 以及 Sorted Set（ZSet）。每种数据类型都有其独特的特性和用途，下面将详细介绍这些类型。 1. **String...
Redis 数据类型的详解
09-09
Redis 是一个高性能的键值存储系统，它支持五种核心数据类型，分别是字符串（String）、哈希（Hash）、列表（List）、集合（Set）和有序集合（Sorted Set，简称 zset）。这些数据类型的设计使得Redis能够处理多种...
Redis学习笔记---HyperLogLog
CelineT的博客
03-16 798
HyperLogLog使用场景
Hyperloglog paper
10-22
HyperLogLog: the analysis of a near-optimal cardinality estimation algorithm
hyperloglog
乌鲁木齐001号程序员
05-16 493
新的数据结构？ 基于 hyperloglog 算法，在极小空间完成独立数量统计； 本质还是字符串； 三个命令 pfadd key element [element...] 向 hyperloglog 添加元素； pfcount key [key] 计算 hyperloglog 的独立总数； pfmerge destkey sourcekey [...
Redis数据结构之HypeLogLog原理
cuiyaocool的博客
09-13 919
数学之美，通过概率以及事件发生的次数预估样本总量，这就是HypeLogLog的原理，本文在阅读了多篇文章和观看多个视频后记录下来，共享~
Redis手记之Hyperloglog（五）
weixin_42592668的博客
05-04 127
简介 Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这...
【Redis笔记】一起了解 Redis 中的 HyperLogLog 算法？
长路漫漫的歇脚处
12-30 2448
一起了解 HyperLogLog 算法？什么是伯努利试验？
HyperLogLog使用及原理
Martin的博客
07-01 8204
我们可以思考一个常见的业务问题：如果开发一个大型网站，要记录每个网页每天的UV数据，我们应该如何实现呢？ 如果统计PV那非常容易，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当天的日期。这样来一个请求，incrby一次，最终就可以统计出所有的PV数据。但是UV不一样，它要去重，也许我们可以想到一个简单的方案，为每个网页创建一个set集合来存储当天访问过此页面的用户ID...
Redis-Redis 高级数据结构 HyperLogLog与事务
最新发布
weixin_43874650的博客
11-29 907
如果这样的页面很多，那 所需要的存储空间是惊人的。为这样一个去重功能就耗费这样多的存储空间，值 得么？该实现一个明显的问题是内存占用过多，所有从库的连接在主库上是独立的，同样举抛硬币的例子，如果只有一组抛硬币实验，显然根据公式推导得到的。那么基于上面的估算结论，我们可以通过多次抛硬币实验的最大抛到正面的。大家应该对事务比较了解，简单地说，事务表示一组动作，要么全部执行，但是，如果你的页面访问量非常大，比如一个爆款页面几千万的 UV。列中的未执行命令，并不会回滚已经操作过的数据，这一点要和关系型数据库的。
最详细的HyperLogLog介绍
jinjiating的专栏
08-06 1733
不仅有原理，还有空间复杂度分析
Redis数据类型与操作详解
Redis的核心特性是其支持的数据类型多样性，包括： 1. **字符串(Strings)**：基本的数据类型，可以存储任意二进制数据，如数字或文本。 2. **哈希(Hashes)**：用于存储键值对，适合表示对象。每个键对应一个字段，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值