redis学习：Hyperloglog的基数统计

已于 2022-02-07 17:37:50 修改
阅读量242 收藏
点赞数
分类专栏： redis 文章标签： redis 缓存 数据库
于 2022-02-07 17:34:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FeiChangWuRao/article/details/122812070
版权

基数可以理解为数据集中不重复的元素的个数。
例如拿UV做例子
网页的访问量（UV）：一个用户多次访问，也只能算作一个人。

先看一下Hyperloglog的基础命令

命令描述
PFADD key element1 [elememt2…]添加指定元素到 HyperLogLog 中
PFCOUNT key [key]返回给定 HyperLogLog 的基数估算值。
PFMERGE destkey sourcekey [sourcekey…]多个 HyperLogLog 合并为一个 HyperLogLog

看一下基础命令的使用例子
在这里插入图片描述
结合到UV，假设我们可以做到每个用户都能标记好，我们可以把所有的用户记录放到Hyperloglog里面，他会自动帮助我们去重统计，要比放在一个set里面一直占内存统计要好一些。

但是要注意Hyperloglog实际上用的是一种预估的方法，基本思想是利用集合中数字的比特串第一个 1 出现位置的最大值来预估整体基数，尽管才用了分桶的优化，但实际还是有误差在里面的，所以说要求特别确切准确的话，这种预估的方式肯定不行。所以说使用的时候还是要根据实际情况。

我是坑货
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hyperloglog-redis:Redis支持的HyperLogLog算法的实现
05-10
该gem是HyperLogLog算法的纯Ruby实现，用于估计通过事件流观察到的集合的基数。 实例用于存储计数器。 一个最小的例子： require 'redis' require 'hyperloglog-redis' counter = HyperLogLog::Counter.new(Redis....
15、HyperLogLog统计基数
JavaDayUp
04-25 234
学习目标： 1、了解HyperLogLog作用 2、掌握redis对HyperLogLog的命令的支持 学习过程： 一、了解HyperLogLog算法 基数估算时大数据应用场景中最常见的一应用，比如如果我们需要统计一天内的独立用户数，一个用户在可能会多次的访问，但是我们不需要重复的累计，最后统计的数量只要误差不太大就行了，那么我们是否需要记录每一个用户呢，事实上我们需要获得的时用户数即可...
Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解
万里顾一程的博客
08-15 581
文章目录Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解1、HyperLogLog 基数统计2、Bitmap位图场景详解 Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解 1、HyperLogLog 基数统计 什么是基数? 比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。 Redis HyperL
基数统计算法--HyperLogLog
.
08-25 1704
楔子 在我们实际开发的过程中，可能会遇到这样一个问题，当我们需要统计一个大型网站的独立访问次数时，该用什么的类型来统计？ 如果我们使用 Redis 中的集合来统计，当它每天有数千万级别的访问时，将会是一个巨大的问题。因为这些访问量不能被清空，我们运营人员可能会随时查看这些信息，那么随着时间的推移，这些统计数据所占用的空间会越来越大，逐渐超出我们能承载最大空间。 例如，我们用 IP 来作为独立访问的判断依据，那么我们就要把每个独立 IP 进行存储，以 IP4 来计算，IP4 最多需要 15 个字节来存储
使用 Redis 统计在线用户人数
weixin_30530523的博客
01-03 2878
在构建应用的时候， 我们经常需要对用户的一举一动进行记录， 而其中一个比较重要的操作， 就是对在线的用户进行记录。 本文将介绍四种使用 Redis 对在线用户进行记录的方案， 这些方案虽然都可以对在线用户的数量进行统计， 但每个方案都有一些自己特有的操作， 并且各个方案的性能特征以及资源消耗也各有不同。 方案 1 ：使用有序集合 每当一个用户上线时， 我们就执行 ZADD 命令， 将...
redis：基数计数HyperLogLog
OceanStar的博客
10-11 374
引入场景 如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的UV数据，然后让你来开发这个统计模块，你会如何实现？ 如果是统计PV那是非常好办，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当前的日期，这样来一个请求，incrby一次，最终就可以统计出所有的PV数据 但是UV不一样，它要去重，同一个用户一天之内的多次访问请求之内计数一次。这就就要求每一个网页请求都需要带上用户的ID，无论是登录用户还是未登录用户都需要一个唯一的ID来表示 也许你已经想到了一
cpp_redis：C ++ 11轻量级Redis客户端：异步，线程安全，无依赖项，流水线，多平台-不再维护-请检查https：github.comcpp-rediscpp_redis
01-30
它没有网络模块，因此您可以自由配置自己的模块，也可以使用默认模块（ ）例cpp_redis :: client cpp_redis::client client;client.connect();client.set( " hello " , " 42 " );client.get( " hello " , [](cpp_...
redis压缩包:redis.7z
01-18
redis压缩包，在window系统解压后，双击redis-server.exe即可开启redis服务，双击redis-cli.exe输入redis命令。...在window系统学习redis相关命令的开发人员，需要redis完成开发测试任务的开发测试人员
Redis 客户端:ioredis
03-13
项目标签：[内存数据库] [redis] [NodeJS] 推荐理由：一个用于 Node.js 的 Redis 客户端，具有强大、性能优化和功能齐全的特点。它提供了丰富的功能，如管道、集群、Lua 脚本支持等，可以方便地与 Redis 数据库进行...
Redis开发：列表简单教程
最新发布
05-01
Redis开发：列表简单教程
HyperLogLog（关于基数统计）
m0_67623521的博客
09-27 402
今天在复习Redis的一种在Redis 2.8.9 版本更新的结构的时候，知道了这个数据结构是基于一种优秀的算法HyperLogLog，基数统计算法（简单来说就是统计集合中的元素数量，但是对比set有了很大的优化），就去了解了一下这种算法的精妙之处。
玩转Redis-HyperLogLog统计微博日活月活
zxiaofan.com
07-19 1562
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【9】篇。 日活数据统计面临哪些挑战？ HyperLogLog必知，HyperLogLog和Sets的区别，HyperLogLog命令对比分析，HyperLogLog命令注意事项。HyperLogLog的应用场景
三种特殊数据类型——hyperloglog基数统计
酷小亚
10-08 229
优点：占用的内存是固定的，2^64不同的元素的技术，只需要用12KB内存！这个方式如果保存大量的用户id，就会比较麻烦！我们的目的是为了计数，而不是保存用户的id；传统的方式，set保存用户的id，然后就可以统计set中的元素数量作为标准判断！基数（不重复的元素的个数） = 5 ， 可以接受误差！如果允许容错，那么一定可以使用Hyperloglog！如果不允许容错，就使用set 或者自己的数据类型即可！Redis Hyperloglog 基数统计的算法！统计UV任务，可以忽略不计的！
HyperLogLog－Redis中的基数统计算法
ukulelepku的博客
12-13 1952
1.基本概念 基数(cardinality)，是指一个集合中不同元素的个数。例如集合：{1,2,3,4,5,2,3,9,7}， 这个集合有9个元素，但是2和3各出现了两次， 因此不重复的元素为1,2,3,4,5,9,7，所以这个集合的基数是7。 Redis 在 2.8.9 版本添加了 HyperLogLog 结构。HyperLogLog 是用来做基数统计的算法，HyperLogL
Redis（13）—— Hyperloglog
weixin_45418001的博客
06-01 167
Hyperloglog 什么是基数？ A {1,3,5,7,8,7} B{1，3,5,7,8} 基数（不重复的元素） = 5，可以接受误差！ 简介 Redis 2.8.9 版本就更新了 Hyperloglog 数据结构！ Redis Hyperloglog 基数统计的算法！ 优点：占用的内存是固定，2^64 不同的元素的技术，只需要废 12KB内存！如果要从内存角度来比较的话 Hyperloglog 首选！ 网页的 UV （一个人访问一个网站多次，但是还是算作一个人！） 传统的方式， set 保存用户的id
Redis 学习笔记（十一）基数统计(HyperLogLog)
men_wen的博客
04-11 5294
Redis 学习笔记（十一）基数统计(HyperLogLog)1. 介绍HyperLogLog命令是redis在2.8版本中加入的，Redis中HyperLogLog是用来做基数统计的。HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的，因此每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2642^{64}
redis特殊数据类型HyperLogLog （基数）
贼賊大宝
02-08 141
redis特殊数据类型HyperLogLog （基数） Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以
HyperLogLog(基数估算)的一些问题和知识收集
master-dragon的专栏
04-27 343
搞druid.io不懂HyperLogLog,有点说不过去，一定要懂，并且网上资料那么多，没有理由不去理解它。 一些文章收集
Redis HyperLogLog 基数计算
潘广宇的博客
04-01 851
Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。因为HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身。 一、什么是基数统计...
使用redis的HyperLoglog实现日访问量统计
03-29
1. 首先需要安装redis，可以参考redis官网的安装教程。...HyperLoglog可以高效地统计大量数据的基数，但也有一定的误差，误差率约为0.81%。因此，在具体应用中需要根据实际情况评估误差率是否可以接受。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值