Redis新数据类型(2)-HyperLogLog

已于 2023-08-19 17:56:44 修改
阅读量694 收藏
点赞数
分类专栏： Redis 文章标签： redis 缓存 数据库
于 2022-01-31 17:16:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50652600/article/details/122760655
版权

原文链接：Redis新数据类型(2)-HyperLogLog – 编程屋

1 前言

在平时开发中我们经常会用到对某个同样的数据进行去重，在mysql中，使用distinct count计算不重复个数，在redis中，使用其提供的hash，set，bitmaps等数据结构来处理。

但是当数据量较大时，导致其占用的空间越来越大，对于非常大的数据并不适用，所以可以通过降低一定的精度来平衡存储空间，这就出现了Redis的HyperLogLog。

在redis里面，每个HyperLogLog只需要花费12kb的内存，就可以计算接近2^64个不同元素的基数。这和计算基数时，元素越多耗费内存越多的集合形成鲜明的对比

2 操作命令

pfadd<key><element>[element] 添加指定元素到HyperLogLog中

将所有元素添加到指定HyperLogLog中。如果执行命令后HLL估计的近似基数发生变化，则返回1，否则返回0.

pfcount<key> 计算HLL的近似基数，统计基数的数量

pfmerge<destkey><sourcekey> 讲一个或多个HLL合并后的结果存储到另外一个HLL 

以上只是部分内容，为了维护方便，本文已迁移到新地址：Redis新数据类型(2)-HyperLogLog – 编程屋

想养一只萨摩耶～
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis中3种特殊的数据类型（BitMap、Geo和HyperLogLog）
12-16
Redis 种除了常见的字符串 String、字典 Hash、列表 List、集合 Set、有序集合 SortedSet 等等之外，还有一些不常用的数据类型，这里着重介绍三个。下面话不多说了，来一起看看详细的介绍吧。 BitMap BitMap 就是...
Redis-x64--5.0.14.rar
12-17
7. HyperLogLog：在5.0版本中，Redis引入了HyperLogLog数据类型，用于估算大规模唯一元素的数量，空间效率高，适用于统计网站独立访客等场景。 8. Bitfield操作：Redis 5.0增加了对位字段的支持，可以在一个字符串...
HyperLogLog详解
weixin_45829957的博客
05-02 958
HyperLogLog 简介 在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站PV（PageView页面访问量）,可以使用Redis的incr、incrby轻松实现。 但像UV（UniqueVisitor，独立访客）、独立IP数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。 解决基数问题有很多种方案： （1）数据存储在MySQL表中，使用distinct count计算不重复个数 （2）使用Redis提供的hash、set、bitmaps等数
Redis数据类型 - HyperLogLog
qq_38515961的博客
10-04 270
文章目录一、HyperLogLog简介二、HyperLogLog常用操作 一、HyperLogLog简介 HyperLogLog是一个专门为了计算集合的基数（集合的基数就是集合中元素的数量）而创建的概率算法，对于一个给定的集合，HyperLogLog可以计算出这个集合的近似基数，近似基数并非集合的实际基数，它可能会比实际的基数小一点或者大一点，但是估算基数和实际基数之间的误差会处于一个合理的范围之内，因此那些不需要知道实际基数或者因为条件限制而无法计算出实际基数的程序就可以把这个近似基数当作集合的基数来使用
Redis 数据类型——hyperloglog
Hanyinh的博客
08-14 1601
一、hyperloglog 介绍 1、hyperloglog 简介 Redis 中 hyperloglog 数据类型是 2.8.9 版本引入的，是一种概率数据结构，用来估算数据的基数。基数就是指一个集合中不同值的数目，比如 a, b, c, d 的基数就是 4，a, b, c, d, a 的基数还是 4。虽然 a 出现了两次，但是只会被计算一次。 ​ hyperloglog 通常用来统计一个集合中不重复的元素个数。一个很常见的例子就是统计某个文章的 UV（Unique Visitor，独立访客，一般可以理解
Redis数据类型之HyperLogLog
u013048514的专栏
03-18 508
HyperLogLog是一种基数估计算法，用于估计一个集合中不同元素的数量。该算法使用的空间很小，通常只需要几千个字节就可以估算几十亿个元素的数量。它的原理是通过哈希函数将元素映射到位向量中，并对位向量中的值进行统计和计算，从而估算集合的基数。HyperLogLog算法是一种基于概率的算法，用于估计一个大型数据集的基数。它的名字来源于两个部分。LogLog表示该算法的核心思想是使用对数函数，其中Log是对数的意思。通过使用对数函数，我们可以将原始数据的巨大范围映射到一个更小的范围内，从而使算法更加高效。
Redis数据类型 之 HyperLogLog
哈
10-24 470
Redis数据类型 之 HyperLogLog 基数统计(HyperLogLog) 基数是一种算法。比如一本英文著作由几百万个单词组成，但英文单词本身是有限的，在这几百万个单词中有许多重复的单词，去掉重复的，内存就足够存储了。比如数字集合{1,2,5,7,9,1,5,9}的基数集合为{1,2,5,7,9}，那么基数为5。基数的作用是评估大约需要准备多少个存储单元去存储数据。基数不能存储元素。 Hy...
Redis-3.2.100-Windows-32
09-11
- **HyperLogLog**：提供了高效的基数估算数据类型，适合处理大规模唯一用户统计。 - **Streams数据结构**：引入了新的日志数据结构，为实时事件处理提供了一种强大的方式。 3. **Windows版本** Redis通常在...
Redis非关系型数据库笔记-数据持久化-主从同步-缓存-笔记-五大数据类型-三大特殊数据类型
02-26
#### 二、Redis数据类型 - **基本数据类型**: - **字符串(Strings)**: 最简单的键值对存储方式。 - **列表(Lists)**: 存储有序的字符串列表，适合实现队列和栈。 - **集合(Sets)**: 存储无序不重复的字符串集合...
redis面试题之概述-介绍一下redis.zip
04-18
3. 多种数据类型：Redis支持字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(Sorted Set)等多种数据结构，适应各种应用场景。 4. 高性能：Redis能够处理每秒数十万次的请求，是许多高性能网站和应用...
11. Redis数据类型--HyperLoglogs
林胖的专栏
06-15 338
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。 但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储
初识Redis的数据类型HyperLogLog
Throwable
07-01 3682
前提 未来一段时间开发的项目或者需求会大量使用到Redis，趁着这段时间业务并不太繁忙，抽点时间预习和复习Redis的相关内容。刚好看到博客下面的UV和PV统计，想到了最近看书里面提到的HyperLogLog数据类型，于是花点时间分析一下它的使用方式和使用场景（暂时不探究HyperLogLog的实现原理）。Redis中HyperLogLog数据类型是Redid 2.8.9引入的，使用的时候确保Redis版本>= 2.8.9。 HyperLogLog简介 基数计数(cardinality counti
Redis(十) -- Redis数据类型(七) -- HyperLogLog
weixin_39724194的博客
08-25 386
简介 在工作中，经常越到
（八)redis常用数据类型 HyperLoglog
皓阳当空-博客
09-15 540
1.HyperLoglog简介HyperLoglog是redis新支持的两种类型中的另外一种(上一种是位图类型Bitmaps)。主要适用场景是海量数据的计算。特点是速度快。占用空间小。同样是用于计算，HyperLoglog在适用场景方面与Bitmaps方面有什么不同呢。我个人的理解是，Bitmaps更适合用于验证的大数据，比如签到，记录某用户是不是当天进行了签到，签到了多少天的时候。也就是说，你不光
redis数据类型简介 - HyperLogLog
xinkailei3的博客
04-15 200
什么是HyperLogLog？ HyperLogLog算法经常在数据库中被用来统计某一字段的Distinct Value（下文简称DV） 例如有100W个字符串，要求有多少个不重复的，就可以使用HyperLogLog 基数 基数就是指一个集合中不同值的数目，比如[a,b,c,d]的基数就是4，[a,b,c,d,a]的基数还是4，因为a重复了一个，不算。基数也可以称之为Distinct Value，...
Redis_22_Redis中的HyperLogLog数据类型
毛毛的专栏
09-21 562
文章目录
Redis数据类型之--集合、有序集合和HyperLogLog
cogo_Time的博客
11-02 466
一、Redis集合数据结构（set） Redis 的集合不是一个线性结构，而是一个哈希表结构，它的内部会根据 hash 分子来存储和查找数据，理论上一个集合可以存储 2 的 32 次方减 1 个节点（大约 42 亿）个元素，因为采用哈希表结构，所以对于 Redis 集合的插入、删除和查找的复杂度都是 0（1），只是我们需要注意 3 点。 对于集合而言，它的每一个元素都是不能重复的，当插入相同记录...
Redis高级数据类型(Bitmaps,HyperLogLog,GEO)
yijian941215的博客
05-22 1018
1.Bitmaps 简介 bitmap是一种伪数据类型，是基于String实现的。因为redis的key和value本身就支持二进制的存储方式，所以bitmaps只是一个独特的扩展。因为是面向字节操作，所以他的最大长度就是512M，最适合设置成2^32个不同字节。 业务场景 电影网站 统计每天某一部电影是否被点播 统计每天有多少部电影被点播 统计每周/月/年有多少部电影被点播 统计年度哪部电影没有被点播 Bitmaps类型的基础操作 获取指定key对应偏移量上的bit值 ge
【Redis7】10大数据类型之HyperLogLog类型
最新发布
云泽野の编程日记
05-10 278
HyperLogLog是基于概率的数据结构，能够以极高的效率和极小的内存占用（固定12KB）来近似计算。个不同元素的基数，特别适合处理大规模数据集的统计计数，如网站独立访客（UV）计数等场景。类型,因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身.Redis的HyperLogLog是一种高级数据结构，专门用于基数估算。
Redis的另外三种数据类型Hyperloglog
07-14
Redis的另外三种数据类型是HyperLogLog、Geospatial和Bitmap。 HyperLogLog是一种用于进行基数估计的数据结构。它可以用于统计集合中的元素数量，而不需要存储整个集合。HyperLogLog使用固定的内存空间来估计一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值