redis中基数统计的算法---HyperLogLog

最新推荐文章于 2024-05-15 11:26:03 发布
最新推荐文章于 2024-05-15 11:26:03 发布
阅读量339 收藏
点赞数
分类专栏： redis 文章标签： redis HyperLogLog
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cornerlin/article/details/112600373
版权

HyperLogLog是用来做基数统计的算法


1、什么是基数？
比如数据集{ 1，3，5，7，5，7，9} ，那么这个数据集的基数集则为{1，3，5，7，9}，基数(不重复元素)为5(个)
演示HyperLogLog的工作过程

redis HyperLogLog的基本命令

序号命令及描述
1

PFADD key element [element ...]
添加指定元素到 HyperLogLog 中。

整型，如果至少有个元素被添加返回 1， 否则返回 0

2

PFCOUNT key [key ...]


返回给定 HyperLogLog 的基数估算值。

返回值

整数，返回给定 HyperLogLog 的基数值，如果多个 HyperLogLog 则返回基数估值之和。

3

PFMERGE destkey sourcekey [sourcekey ...]
将多个 HyperLogLog 合并为一个 HyperLogLog

 

不在人间见白头
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis从入门到入坟系列文章（七）： 基数统计算法
qq_34804559的博客
08-19 380
今天来了解下Redis的基数统计算法结构HyperLogLog。HyperLogLog结构是Redis在在 2.8.9 版本新增加的。 HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储.
HyperLogLog－Redis中的基数统计算法
ukulelepku的博客
12-13 1965
1.基本概念 基数(cardinality)，是指一个集合中不同元素的个数。例如集合：{1,2,3,4,5,2,3,9,7}， 这个集合有9个元素，但是2和3各出现了两次， 因此不重复的元素为1,2,3,4,5,9,7，所以这个集合的基数是7。 Redis 在 2.8.9 版本添加了 HyperLogLog 结构。HyperLogLog 是用来做基数统计的算法，HyperLogL
Redis基数统计——HyperLogLog小内存大用处
weixin_33857679的博客
10-26 346
2019独角兽企业重金招聘Python工程师标准>>> ...
Redis源码剖析--基数统计hyperloglog
cool grass's blog
07-01 540
Redis源码剖析--基数统计hyperloglog 基数统计 算法思路 伯努利过程 基数统计 hyperloglog实现 数据结构 添加元素 计算基数 合并hyperloglog键 hyperloglog小结 Update 2016-12-9 Redis中hyperloglog是用来做基数统计的，其优点是：在输入元素的数量或者体积非常非常大的时候，计算...
redis的基数统计方案
m0_37579159的博客
03-05 492
关于redis的四种统计方案比较：转载自：http://blog.huangz.me/diary/2016/redis-count-online-users.htmlredis的hyperloglog详解：转载自：http://blog.csdn.net/terence1212/article/details/53543801...
redis个人源码分析1----hyperloglog（golang实现）
weixin_33937913的博客
11-17 400
1 基数统计 HLL算法用来进行基数统计。 什么是基数统计：例如给你一个数组[1,2,2,3,3,5,5] ,这个数组的基数是4（一共有4个不重复的元素）。 好了现在知道什么是基数统计了。 对于这个问题，最容易想到的办法当然是使用bitmap来实现，每个bit位表示一个数字是否出现过，比如要表示上面这串数字使用下面的bitmap来表示： 011101 优点：相对省空间，且合并操作简单，比如上面...
redis 使用--＞＞基数统计算法-HyperLogLog 热点统计如何做？
xdc1812547560的博客
09-08 2080
文章目录为什么要使用 HyperLogLog？HyperLogLog 介绍基础使用添加元素相关语法：统计不重复的元素相关语法：合并一个或多个 HLL 至新结构 新增 k 和 k2 合并至新结构 k3 中相关语法 为什么要使用 HyperLogLog？ 在我们实际开发的过程中，可能会遇到这样一个问题，当我们需要统计一个大型网站的独立访问次数时，该用什么的类型来统计？ 如果我们使用 Redis 中的集合来统计，当它每天有数千万级别的访问时，将会是一个巨大的问题。因为这些访问量不能被清空，我们运营人员可能会随时查
hyperloglog-redis:Redis支持的HyperLogLog算法的实现
05-10
require 'hyperloglog-redis' counter = HyperLogLog::Counter.new(Redis.new) ['john', 'paul', 'george', 'ringo', 'john', 'paul'].each do |beatle| counter.add('beatles', beatle) end puts "There are ...
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4093
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
玩转Redis-HyperLogLog统计微博日活月活
zxiaofan.com
07-19 1608
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【9】篇。 日活数据统计面临哪些挑战？ HyperLogLog必知，HyperLogLog和Sets的区别，HyperLogLog命令对比分析，HyperLogLog命令注意事项。HyperLogLog的应用场景
redis基础数据结构（六） 基数统计
kdb_viewer的博客
06-22 1479
基数统计即统计一个数据集中不重复元素的个数，一种显然的实现是使用不相交集，缺陷是随着数据增加内存占用线性增加，海量数据下不可用；一种更常见的方法是使用B-树，所有数据在叶子节点保存，叶子节点在磁盘中，上层节点在内存中，因此占用内存的问题得到解决，查找时间O(logN)，但是读取磁盘开销太大；最完美的方法是使用bitmap，因为bit是最小存储空间，可以保证内存占用最小。以上都是准确基数排序的方法，...
redis HyperLogLog 基数估算
atu99602的博客
08-30 89
HyperLogLog 可以接受多个元素的输入，返回输入元素的基数估算值基数，集合中不同元素的数量。如集合{1,2,3,1,2,3,4}的基数是4。估算，HyperLogLog算法返回的基数不是完全精确的，但会控制在合理的范围内。HyperLogLog不会存储输入的多个元素，只返回估算的基数 127.0.0.1:6379> pfadd yy a b c a b c e (i...
redis-HyperLogLog基数统计
xiaohei_xiaobai的博客
04-14 178
redis在2.8.9 版本添加了 HyperLogLog 数据结构，用于统计非重复数据个数，这个功能利用redis的set也能实现，但是为什么还要提供HyperLogLog呢？原因在于如果有时我们只需要计算基数个数，不要存储具体的数据时，数据量很大，如果利用set会浪费很大的内存消耗，但是HyperLogLog的有点时，他所需要的内存空间不会随着数据量的增大而增大，当统计元素很少时，HyperL...
Redis 学习笔记（十一）基数统计(HyperLogLog)
men_wen的博客
04-11 5364
Redis 学习笔记（十一）基数统计(HyperLogLog)1. 介绍HyperLogLog命令是redis在2.8版本中加入的，Redis中HyperLogLog是用来做基数统计的。HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的，因此每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2642^{64}
Redis修行 — 基数统计：HyperLogLog
superylcfly的博客
02-01 336
学 无 止 境 ，与 君 共 勉 。 简介 HyperLogLog是Redis中的高级数据结构，它主要用于对海量数据（可以统计2^64个数据）做基数统计（去重统计数量）。它的特点是速度快，占用空间小（12KB）。但是计算存会在误差，标准误差为0.81%。HyperLogLog只会根据输入元素来计算基数，而不会储存输入元素本身，所以他并不能判断给定的元素是否已经存在了。 基本指令 pfadd(k...
Redis hyperloglog基数统计
weixin_47556601的博客
03-21 806
大家好，今天分享Redis hyperloglog基数统计 它的好处 在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 看这个数据集 {1, 3, 5, 7, 5, 7, 8}，那么它的基数集合就是 {1, 3, 5 ,7, 8},所谓的基数（就是不重复的元素=5） hyperloglog基数统计是在Redis-2.8.9就有了这种数据结构 实例，一个人访问网站多重就算它一个人 由传统的方式： set 保存用户信息，就可以统计set 中的数据作为标准判断，
Redis教程——数据类型（基数统计、地理空间、位域）
霖hero
04-21 1072
在上篇文章中我们学习了Redis教程——数据类型（有序集合、位图），这篇文章学习Redis教程——数据类型（基数统计、地理空间、位域）。
redis源码解析-基数统计算法-hyperloglog(6.2.3版本)
qazwsxwtc的专栏
08-16 164
1，hyperloglog原理 hyperloglog是一种基数统计算法，具体原理请大家自行百度，里面涉及到具体的数学知识，我不在这里描述，也讲不清楚。 hyperloglog原理具体大家可以参考 https://zhuanlan.zhihu.com/p/58519480 https://blog.csdn.net/firenet1/article/details/77247649 https://blog.csdn.net/zanpengfei/article/details/...
2024年最新redis源码阅读—hyperloglog(基数统计)_redis hyperloglog 源码，2024年最新腾讯&字节&爱奇艺&网易&华为实习面试汇总
最新发布
2401_84910880的博客
05-15 309
那么对于多次的伯努利试验，假设这个多次为n次。就意味着出现了n次的正面。假设每次伯努利试验所经历了的抛掷次数为k。第一次伯努利试验，次数设为k1，以此类推，第n次对应的是kn。其中，对于这n次伯努利试验中，必然会有一个最大的抛掷次数k，例如抛了12次才出现正面，那么称这个为k_max，代表抛了最多的次数。。这样一来，我们就可以将作为n的一个粗糙估计。这种通过局部信息预估整体数据流特性的方法似乎有些超出我们的基本认知，需要用概率和统计的方法才能推导和验证这种关联关系。
RedisHyperLogLog对浏览的用户ID做统计
05-12
RedisHyperLogLog 是 Redis 提供的一种基数统计算法，可以用于统计访问数量、用户数量等信息。在浏览行为中，可以使用 RedisHyperLogLog 对用户 ID 进行去重和统计。 首先，可以将用户的 ID 作为元素插入到 Redis ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值