redis中HLL的使用hyperloglog

最新推荐文章于 2024-03-16 19:38:03 发布
最新推荐文章于 2024-03-16 19:38:03 发布
阅读量787 收藏
点赞数
分类专栏： Redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39406672/article/details/105775007
版权

redis中HLL的使用
这里给出官方文档（中文翻译版）连接，里面关于时间复杂度、返回值、命令方式、使用案例等等都有详细说明

本文对每个命令都简介总结并个人案例展示

pfadd 添加
影响基数估值则返回1否则返回0.若key不存在则创建
时间复杂度O(1)

127.0.0.1:6379> pfadd m1 1 2 3 4 1 2 3 2 2 2 2
(integer) 1
最低0.47元/天 解锁文章
开心的小尾叭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【HLL】使用 HyperLogLog 去重案例
九师兄
08-05 711
1.概述 HyperLogLog一个常用的场景就是统计网站的UV。 ##基数 简单来说，基数（cardinality，也译作势），是指一个集合（这里的集合允许存在重复元素）中不同元素的个数。例如看下面的集合： {1,2,3,4,5,2,3,9,7} 这个集合有9个元素，但是2和3各出现了两次，因此不重复的元素为1,2,3,4,5,9,7，所以这个集合的基数是7。 maven <dependency> <groupId>net.agkn</grou.
Redis介绍、优点，缺点、数据类型：字符串、集合、列表、散列、有序集合、HLL、GEO操作
ziania_cumt的博客
04-15 665
Redis介绍、优点，缺点、数据类型：字符串、集合、列表、散列、有序集合、HLL、GEO操作
Redis指令详解-HLL相关指令
陈海龙的格物之路
08-15 1886
列举redis中与HLL(近似基数统计)相关的指令，包括作用、使用时需要注意的地方等。
内存替换redis hll
codemosi的专栏，点击我可以跳到目录一栏
11-17 1082
/**  * 内存Hll实现，状态可以通过HBaseHandler和RedisHandler来切换、  *   * @author mosi.li  *   */ public class AggUvMemHll2HbaseBolt extends{ private final static Logger LOG = LoggerFactory .getLogger(AggUvMe
HLL算法
dezhonger的专栏
11-17 6945
HLL算法，主要是用于统计一系列数据中的不同数目的个数，是一个概率性的算法，在空间上有很大优势。 HLL算法步骤： - 1 选定一个hash函数，把给定的数据hash为一个32位bit数据（不一定是32位） - 2 统计每个数据中第一个次出现1的位置（k1, k2, k3.... - 3 k = max(k1, k2, k3 ...) - 4 那么不同个数result = 2^k
redis帮助文档之hyperloglog.md
03-12
redis帮助文档之hyperloglog
hyperloglog-redis:Redis支持的HyperLogLog算法的实现
05-10
超级日志 该gem是HyperLogLog算法的纯Ruby实现，用于估计通过事件流观察到的集合的基数。 实例用于存储计数器。...每个HyperLogLog计数器使用固定的少量空间，但可以估计高达约十亿个值的任何集合的基数，相对误差为1.0
Laravel中Redis的配置和使用
08-22
Laravel中Redis的配置和使用 Laravel框架中，Redis是一个非常重要的组件，它可以用来做缓存、 Session、消息队列等多种用途。下面我们将详细介绍Laravel中Redis的配置和使用。 首先，需要在composer.json文件中...
C#中如何使用redis
08-18
C#中使用Redis可以通过使用StackExchange.Redis NuGet包来实现。在C#中使用Redis主要包括安装NuGet包、创建Redis连接、执行基本操作和发布订阅消息等。 安装NuGet包 在C#中使用Redis首先需要安装StackExchange....
Redis中配置文件的使用
最新发布
03-25
Redis中配置文件的使用
Redis中的HyperLogLog以及HyperLogLog原理
qq_42581682的博客
03-16 1410
Redis中的hyperLogLog数据结构及原理
Redis：HyperLogLog使用与应用场景
热门推荐
maoyuanming0806的博客
08-19 1万+
本文介绍redis的HyperLogLogde 命令使用和其他统计方式以及应用场景。 本文最后记录了HyperLogLog算法相关参考链接 简介 基数计数的演进 使用一般集合或数据结构来处理如HashSet或B+树 bitmap 概率算法 算法白话说明 redis中HLL的使用 pfadd 添加 pfcount 获得基数值 pfmerge 合并多个key ...
redis HyperLogLog，看这篇就够了
持之以恒
10-18 5589
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
【Redis】使用Redis实现签到和统计功能
Decade_Faiz的博客
01-20 1095
Redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指！UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。从最后一次签到开始向前统计，直到遇到第一次未签到为止，计算总的签到次数，就是连续签到天数。：操作（查询、修改、自增）BitMap中bit数组中的指定位置（offset）的值。
redis数据结构HyperLogLog
weixin_64161454的博客
03-06 102
redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指!作为代价，其测量结果是概率性的，有小于0.81%的误差。PV: 全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。
HyperLogLog原理及Redis实现分析
Javax777的博客
10-17 649
在某次需求实现时，面临的业务场景是对千万级的用户id做去重。Set、HashMap等常用的数据结构都能处理这种情况，但是这些数据结构也面临这样的问题：随着数据量的增多，占用的内存空间会越来越大。 出于对人力成本和内存资源消耗的考虑，最终我们选用了HyperLogLog来完成这一任务。 什么是HyperLogLog？一个(有限)集合里不同的元素个数就称为该集合的基数(cardinality)，HyperLogLog是一种在大数据量下统计基数的算法，标准误差为0.81%。相较于其它算法，HyperLogLo
redis基础数据结构（六） 基数统计
kdb_viewer的博客
06-22 1445
基数统计即统计一个数据集中不重复元素的个数，一种显然的实现是使用不相交集，缺陷是随着数据增加内存占用线性增加，海量数据下不可用；一种更常见的方法是使用B-树，所有数据在叶子节点保存，叶子节点在磁盘中，上层节点在内存中，因此占用内存的问题得到解决，查找时间O(logN)，但是读取磁盘开销太大；最完美的方法是使用bitmap，因为bit是最小存储空间，可以保证内存占用最小。以上都是准确基数排序的方法，...
redis中HyperLogLogs使用介绍
zhang197093的博客
06-06 5077
A HyperLogLog is a probabilistic data structure used in order to count unique things (technically this is referred to estimating the cardinality of a set). Usually counting unique items requires usi
十五、Redis三种特殊类型之二HyperLoglog
Jian Sun_的博客
10-21 260
一.概念 1、redis在2.8.9版本添加了HyperLogLog结构;HyperLogLog是一种算法，并非redis独有. 2、redis HyperLogLog是用来做基数统计的算法，HyperLogLog的优点是：在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且使很小的。 3、在redis里面，每个HyperLogLog键只需要花费12kb内存，就可以计算接近2^64个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 4、目的是做基数统计，故不
RedisHyperLogLog的使用方法
05-12
Redis的HyperLogLog是一种基数算法，用于估算一个集合中的元素数量。它的优点是占用空间小，计算速度快，但是在精度上有一定的误差。使用方法如下： 1. 添加元素 可以使用 PFADD 命令向 HyperLogLog 中添加元素。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值