Redis指令详解-HLL相关指令

最新推荐文章于 2024-03-16 19:38:03 发布
最新推荐文章于 2024-03-16 19:38:03 发布
阅读量1.8k 收藏
点赞数
分类专栏： 陈海龙的格物之路-Redis篇 文章标签： redis hll redis 基数统计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chl87783255/article/details/99644895
版权

目录

目标

HLL数据结构

    举例：近似统计唯一的search query

     统计UV

PFADD

PFCOUNT

PFMERGE

目标

列举redis中与HLL(近似基数统计)相关的指令，包括作用、使用时需要注意的地方等。

HLL数据结构

    使用小的常量内存空间(12KB，特定编码的特定长度的String)，去近似统计集合中唯一元素的数量。
    近似值误差0.81%

    举例：近似统计唯一的search query

  • 每次search query，使用PFADD key searchQuery的URL
  • 随时使用PFCOUNT获取唯一query的近似值

     统计UV

PFADD

    PFADD key [element ...]
    O(N) N:参数中ele个数
    向HLL数据结构中添加元素，HLL内部可能发生更新，以便表现唯一元素个数的变换
    如果key不存在，则新建一个empty HLL；如果HLL内部寄存器发生变化，返回1；否则返回0；

PFCOUNT

    PFCOUNT key [key ...]
    O(N) N:请求key的数量
    获取唯一元素的近似数量
    返回
        参数是单个key时，如果key存在，返回基数估算值；否则0
        参数是多个key，内部将多个HLL merge后，返回基数估算的值
    注意
        执行该命令后，HLL结构可能发生变化，因为最后8个byte编码存储最近的统计结果，达到cache目的。所以PFCOUNT可以理解为是个写命令。
    举例

pfadd hll1 a b c d
"1"
pfcount hll1
"4"
pfadd hll1 a e f
"1"
pfcount hll1
"6"
pfadd hll2 a b c d
"1"
pfcount hll2
"4"
pfcount hll1 hll2 //新进行merge，然后返回
"6"


    性能差异
        单个KEY时，性能很好。虽然稠密HLL的理论时间较长，但PFCOUNT会使用cache。
        多个KEY时，将进行内部merge，而且估算值无法被cache，所以耗时数毫秒。

PFMERGE

    PFMERGE destkey sourcekey [sourcekey ...]
    O(N) N:HLL的数量
    将多个HLL合并存储到另一个HLL，如果目标key不存在，则创建。
    返回OK

 

 

 

HS_Henry
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis中HLL的使用hyperloglog
weixin_39406672的博客
04-26 787
redis中HLL的使用 这里给出官方文档（中文翻译版）连接，里面关于时间复杂度、返回值、命令方式、使用案例等等都有详细说明 本文对每个命令都简介总结并个人案例展示 pfadd 添加 影响基数估值则返回1否则返回0.若key不存在则创建 时间复杂度O(1) 127.0.0.1:6379> pfadd m1 1 2 3 4 1 2 3 2 2 2 2 (integer) 1 pfcount ...
Redis介绍、优点，缺点、数据类型：字符串、集合、列表、散列、有序集合、HLL、GEO操作
ziania_cumt的博客
04-15 665
Redis介绍、优点，缺点、数据类型：字符串、集合、列表、散列、有序集合、HLL、GEO操作
内存替换redis hll
codemosi的专栏，点击我可以跳到目录一栏
11-17 1082
/**  * 内存Hll实现，状态可以通过HBaseHandler和RedisHandler来切换、  *   * @author mosi.li  *   */ public class AggUvMemHll2HbaseBolt extends{ private final static Logger LOG = LoggerFactory .getLogger(AggUvMe
Spark sql HLL函数
Moonset1995的博客
01-21 1764
HLL函数： 预估函数：presto_estimate_prepare（预估计算） 合并函数：presto_estimate_merge（创建binary格式数据，用于后续计算） 计算函数：presto_estimate_compute（对binary格式数据进行计算，类似拟合计算count distinct） 概念说明：https://www.bookstack.cn/read/Doris/spilt.9.spilt.7.11.md --presto_estimate_compute(`hll_arry
GBase 8c V3.0.0数据类型——HLL函数和操作符（操作符）
futianxia061112的博客
06-24 245
GBase 8c V3.0.0数据类型——HLL函数和操作符（操作符）
redis-stack-server 7.2.0 安装包合集
最新发布
04-03
redis-stack-server-7.2.0-v9.arm64.snap redis-stack-server-7.2.0-v9.bionic.arm64.tar.gz redis-stack-server-7.2.0-v9.bionic.x86_64.tar.gz redis-stack-server-7.2.0-v9.bullseye.x86_64.tar.gz redis-stack-...
redis校验工具redis-full-check
05-27
**Redis 全面检查工具：redis-full-check** Redis 是一款高性能的键值存储系统，广泛应用于缓存、数据库和消息中间件等场景。在实际应用中，为了确保 Redis 的稳定性和数据一致性，需要定期对 Redis 实例进行健康...
Another-Redis-Desktop-Manager.1.6.1
09-23
《Redis桌面管理器Another-Redis-Desktop-Manager详解》 Redis，全称为Remote Dictionary Server，是一种高性能的键值存储系统，常被用作数据库、缓存和消息中间件。其简洁的数据结构和丰富的数据类型使其在分布式...
redis++使用说明,windows下编译redis-plus-plus
06-13
"Redis++使用说明，windows下编译Redis-Plus-Plus" 在这篇文章中，我们将详细介绍如何在Windows平台下编译Redis++，包括编译hiredis.lib和Win32_Interop.lib静态库文件的过程，然后安装Cmake并编译Redis++，最后...
redis-windows-7.2.4.zip
01-14
Redis，全称Remote Dictionary Server，是一款开源的、高性能的键值对存储系统，它支持数据的持久化，可以作为数据库、缓存和消息中间件使用。Redis以其高速度和丰富的数据结构而闻名，广泛应用于互联网服务，如计数...
mysql-hll:用于 MySQL 的 HyperLogLog UDF
06-13
用于 MySQL 的 HyperLogLog UDF 例子 增量积累 CREATE TABLE ` uniqueUsersPerDay `( ` day ` DATE PRIMARY KEY , ` hll ` BLOB); SET @bits = 14 ; -- set storage size to 2^@bits bytes (standard error 0.81%) SET @userId = 1 ; INSERT INTO ` uniqueUsersPerDay ` ( ` day ` , ` hll ` ) VALUES (CURDATE(), HLL_CREATE(@bits, @userId)) ON DUPLICATE KEY UPDATE ` hll ` = HLL_ADD( ` hll ` , @userId) ; SET @userId = 2 ; INS
GBase 8c V3.0.0数据类型——HLL函数和操作符（功能函数）
futianxia061112的博客
06-24 268
GBase 8c V3.0.0数据类型——HLL函数和操作符（功能函数）
GBase 8c V3.0.0数据类型——HLL函数和操作符（聚合函数）
futianxia061112的博客
06-24 281
GBase 8c V3.0.0数据类型——HLL函数和操作符（聚合函数）
HLL算法
dezhonger的专栏
11-17 6945
HLL算法，主要是用于统计一系列数据中的不同数目的个数，是一个概率性的算法，在空间上有很大优势。 HLL算法步骤： - 1 选定一个hash函数，把给定的数据hash为一个32位bit数据（不一定是32位） - 2 统计每个数据中第一个次出现1的位置（k1, k2, k3.... - 3 k = max(k1, k2, k3 ...) - 4 那么不同个数result = 2^k
citus 系列6 - count(distinct xx) 加速 (use 估值插件 hll|hyperloglo
congnaoluan7899的博客
10-09 612
背景 在分布式数据库中，计算count(distinct xxx)，需要对distinct 的字段， 1、去重， 2、重分布去重后的数据，（这一步，如果distinct值特别多，那么就会比较耗时...
Redis中的HyperLogLog以及HyperLogLog原理
qq_42581682的博客
03-16 1410
Redis中的hyperLogLog数据结构及原理
Redis：HyperLogLog使用与应用场景
热门推荐
maoyuanming0806的博客
08-19 1万+
本文介绍redis的HyperLogLogde 命令使用和其他统计方式以及应用场景。 本文最后记录了HyperLogLog算法相关参考链接 简介 基数计数的演进 使用一般集合或数据结构来处理如HashSet或B+树 bitmap 概率算法 算法白话说明 redis中HLL的使用 pfadd 添加 pfcount 获得基数值 pfmerge 合并多个key ...
redis HyperLogLog，看这篇就够了
持之以恒
10-18 5589
考虑这样一个场景，如何统计一个大型网站的去重日活、月活用户（UV）？ 你可以通过 set 集合、bitmap 这类常用工具，但有个最大的缺点是，如果数据量巨大，比如 1 亿，甚至 10 亿将耗费巨大内存消耗。 有人研究出了这样一种算法叫 `HyperLogLog`，是一种概率性的统计算法，每个 `HyperLogLog` 对象最大占用空间为 `12KB`，相当节省内存。 你应该也猜到了，这么小的内存消耗，是无法记录真实的明细数据，统计数值也不是完全精准，有一定的误差比例。
【Redis】使用Redis实现签到和统计功能
Decade_Faiz的博客
01-20 1095
Redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指！UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。从最后一次签到开始向前统计，直到遇到第一次未签到为止，计算总的签到次数，就是连续签到天数。：操作（查询、修改、自增）BitMap中bit数组中的指定位置（offset）的值。
redis-cli --bigkeys
03-14
redis-cli --bigkeys是Redis命令行工具的一个选项，用于查找并列出占用内存较大的键。当Redis数据库中存在大量的键值对时，有时候需要找出占用内存较多的键，以便进行优化或者释放内存空间。 使用redis-cli --bigkeys命令可以列出占用内存较大的键及其对应的类型和大小。这个命令会扫描整个数据库，并计算每个键所占用的内存大小，然后按照内存大小进行排序，最后将结果以列表的形式展示出来。 需要注意的是，使用redis-cli --bigkeys命令可能会对Redis服务器造成一定的负载，因为它需要遍历整个数据库。因此，在生产环境中使用时需要谨慎，并在合适的时间进行操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值