redis HyperLogLog 计数统计

最新推荐文章于 2024-03-13 17:16:57 发布
最新推荐文章于 2024-03-13 17:16:57 发布
阅读量239 收藏
点赞数
分类专栏： 笔记 文章标签： redis 数据结构 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KK_hou/article/details/120056918
版权

HyperLogLog的作用

HyperLogLog的作用
用于统计海量数据的基数（存在误差）
HyperLogLog是Redis中的高级数据结构，它主要用于对海量数据（可以统计2^64个数据）做基数统计（去重统计数量）。它的特点是速度快，占用空间小（12KB）。但是计算存会在误差，标准误差为0.81%。HyperLogLog只会根据输入元素来计算基数，而不会储存输入元素本身，所以他并不能判断给定的元素是否已经存在了。

//1.访问接口统计数据   opsForHyperLogLog
 redisTemplate.opsForHyperLogLog(
最低0.47元/天 解锁文章
灼显´◡`
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis计数器-HyperLogLog
gfyann的博客
12-11 851
文章目录背景简介使用方法HyperLogLog原理基数统计概率计数延展介绍-布隆过滤器简介原理bloom Filter的应用 背景 在工作当中我们经常会遇到一种场景就是统计一个网站的uv以及独立ip访问数等，常用的方法我们会用一个Set集合去储存对应的数据、或者从数据库distinct（这种方法不推荐），假如我们采用set集合去储存一天的uv量，那么set集合中我们储存用户id，假如一个用户id占...
使用 Redis 统计在线用户人数
weixin_30530523的博客
01-03 2895
在构建应用的时候， 我们经常需要对用户的一举一动进行记录， 而其中一个比较重要的操作， 就是对在线的用户进行记录。 本文将介绍四种使用 Redis 对在线用户进行记录的方案， 这些方案虽然都可以对在线用户的数量进行统计， 但每个方案都有一些自己特有的操作， 并且各个方案的性能特征以及资源消耗也各有不同。 方案 1 ：使用有序集合 每当一个用户上线时， 我们就执行 ZADD 命令， 将...
redis：基数计数HyperLogLog
OceanStar的博客
10-11 378
引入场景 如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的UV数据，然后让你来开发这个统计模块，你会如何实现？ 如果是统计PV那是非常好办，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当前的日期，这样来一个请求，incrby一次，最终就可以统计出所有的PV数据 但是UV不一样，它要去重，同一个用户一天之内的多次访问请求之内计数一次。这就就要求每一个网页请求都需要带上用户的ID，无论是登录用户还是未登录用户都需要一个唯一的ID来表示 也许你已经想到了一
Redis hyperloglog基数统计
weixin_47556601的博客
03-21 787
大家好，今天分享Redis hyperloglog基数统计 它的好处 在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。 看这个数据集 {1, 3, 5, 7, 5, 7, 8}，那么它的基数集合就是 {1, 3, 5 ,7, 8},所谓的基数（就是不重复的元素=5） hyperloglog基数统计是在Redis-2.8.9就有了这种数据结构 实例，一个人访问网站多重就算它一个人 由传统的方式： set 保存用户信息，就可以统计set 中的数据作为标准判断，
HyperLogLog 数据结构 统计数据
weixin_30609287的博客
05-31 72
UV 不⼀样，它要去重，同⼀个⽤户⼀天之内的多次访问请求只能计数⼀次。这就要求每⼀个⽹⻚请求都需要带上⽤户的 ID，⽆论是登陆⽤户还是未登陆⽤户都需要⼀个唯⼀ ID 来标识。如⼀个爆款⻚⾯⼏千万的UV，你需要⼀个很⼤的 set 集合来统计，这就⾮常浪费空间。如果这样的⻚⾯很多，那所需要的存储空间是惊⼈的 Redis 提供了 HyperLogLog 数据结构就是⽤来解决这种统计问题的。HyperL...
wyhll:基于2位HyperLogLog的梦想精确近似集基数估计器。 比Redis HyperLogLog更准确，更快
03-13
本文将深入探讨一种基于2位HyperLogLog的优化版本——wyhll，它由王翼提出，相比Redis的HyperLogLog，具有更高的精度和更快的速度。 HyperLogLog算法的核心思想是使用概率统计方法来估算集合的基数。它通过哈希函数...
Redis实现唯一计数的3种方法分享
09-10
Redis 是一个高性能的键值数据库，特别适合处理大数据量的计数问题。在网站系统中，唯一计数是一项重要的功能，如统计 unique visitor（UV），即每天独立访问者的人数。传统的 SQL 方式，如 `select count(distinct ...
Redis精确去重计数方法（咆哮位图）
12-16
在处理大数据量的去重计数时，传统的集合（Set）和HyperLogLog（HLL）数据结构都有其局限性。Set在存储大量用户ID时会消耗大量空间，而HLL虽然节省空间，但计数存在误差。 位图是一种高效的空间利用方式，通过将每...
Redis高级特性—HyperLoglog解决统计问题
weixin_42128977的博客
10-27 809
在Redis的实现中用到的是16384个桶，也就是2^14，每个桶的maxbits需要6个bits来存储，最大可以表示maxbits=63，于是总共占用内存就是字节。目的是做基数统计，故不是集合，不会保存元数据，只记录数量而不是数值;耗空间极小，支持输入非常体积的数据量,最终数值存在一定误差;redis中每个占用了12K的内存用于标记基数;pfadd命令并不会一次性分配12k内存，而是随着基数的增加而逐渐增加内存分配；而pfmerge操作则会将source key合并后存储在12k大小的key。
基数计数——HyperLogLog
weixin_34253126的博客
01-12 129
所谓的基数计数就是统计一组元素中不重复的元素的个数。如统计某个网站的UV，或者用户搜索网站的关键词数量；再如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值。 1、方法 （假设元素个数为m，去重后个数为n） 1、集合操作去重 时间复杂为O(m2)，空间复杂度随元素个数线性增长。数据量一大就崩了。   2、B+树 将数据插入到B+树中达到去重目的，...
Redis实现高并发计数器
09-09
主要为大家详细介绍了Redis实现高并发计数器，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
使用Redis的HyperLogLog进行海量数据统计
lovoo的博客
06-04 714
Redis的HyperLogLog（HyperLogLog）是一种用于估算集合中不重复元素数量的数据结构。它是Redis的一个流行功能，经常用于处理大型数据集的基数估计（即不重复元素的数量）。HyperLogLog的关键思想是使用一段随机二进制码序列的长度来估计输入集合中不重复元素数量的近似值。散列（Hash）：将每个元素转换为4字节的哈希值。这是通过将元素的每个比特位都转换为0或1，然后对2的幂进行取模来实现的。这个哈希值用于确定该元素在HyperLogLog中的位置。
使用Redis神奇的HyperLogLog做UV统计
赵侠客
05-25 1220
本文介绍Redis神奇的数据结构HyperLogLog，它可以用很小的内存，统计很多数据的基数(不重复的元素个数)，并利用此特性来统计UV/DAU/MAU，具有高性能，占用内存小特点。
Flink+HyperLogLog实现海量实时去重计数
LittleMagic's Blog
05-06 2819
今天忙到飞起（到现在还没完），写一篇超短的小技巧吧。 HyperLogLog是去重计数的利器，能够以很小的精确度误差作为trade-off大幅减少内存空间占用，在不要求100%准确的计数场景极为常用。关于它的数学原理，看官可参见之前写过的《再谈基数估计之HyperLogLog算法》，不再赘述了。 在用Flink做实时计算的过程中，也短不了做去重计数，比如统计UV。我们当然可以直接借助Redis的H...
Redis计数统计
qq_37070988的博客
06-26 467
编写拓展模块时，只需要这个文件就可以编写了（该头文件里定义了一些常量以及可以使用的API）。模块里必须有一个函数，是模块入口点，可以在函数里自定义模块名、新命令、新数据类型解释：ctx：上下文argv：传入参数argc：传入参数的个数argv可以通过MODULE LOAD myModuleTest.so arg1 arg2传入，因此可以根据传入的参数使用不同的新命令函数里需要最先调用解释：ctx：上下文modulename：自定义模块名，不能跟已有的冲突。
使用Redis来做浏览量统计
pertty12350的博客
12-15 7141
Hello大家好，好久没有写过文章了，前段时间的一直忙着毕业的事情，做毕业设计，没有好好的写过一篇文章，那么今天我们来讲什么呢？我们知道我们在观看文章的时候，文章都有什么浏览量、评论量、点赞量什么的，这些是怎么来设计的呢，又是怎么来保持真实性呢？今天我就来带大家了解了解怎么去实现一篇文章的浏览量统计？ 欢迎指出错误点，不喜勿碰 前言 我们在开始之前呢？我相信你对Redis有一定的了解，基本类型都会基本的使用，主要就是String、List、Map、Set等的使用，如果你还不是很会、建议你先去学习一下Red
redis应用--HyperLogLog
weixin_30401605的博客
08-12 303
如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？ 如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器的 key 后缀加上当天的日期。这样来一个请求，incrby 一次，最终就可以统计出所有的 PV 数据。 但是 UV 不一样，它要去重，同一个用户一天之内的多次访问请求只能计数...
Redis实现计数统计
最新发布
qq_64948664的博客
03-13 2510
计数器大量应用于互联网上大大小小的项目，你可以在很多场景都能找到计数器的应用范畴，单纯以技术派项目为例，也有相当多的地方会有计数相关的诉求，比如文章带赞数评论数用户粉丝数......技术派中有两种查询计数相关的方案，一个是基于db中的操作记录进行实施，一种是基于redis的incr特性来实现计数器下面来看一下，redis的计数器是怎样用于技术派的技术场景的。
牛客网后端项目实战（四十一）：网站统计数据
weixin_42033436的博客
06-02 654
文章目录RediskeyServiceUV（Unique Visitor）DAU（Dail Active User）Controller拦截器模板 UV（Unique Visitor） 独立访客，需通过用户IP排重统计数据 每次访问都要进行统计 HyperLogLog，性能好，且存储空间小 DAU（Dail Active User） 日活跃用户，需通过用户ID排重统计数据 访问过一次，则认为其为活跃(定义可以不同) Bitmap，性能好、且可以统计精确的结果 Rediskey RedisKe
RedisHyperLogLog对浏览的用户ID做统计
05-12
RedisHyperLogLog 是 Redis 提供的一种基数统计算法，可以用于统计访问数量、用户数量等信息。在浏览行为中，可以使用 RedisHyperLogLog 对用户 ID 进行去重和统计。 首先，可以将用户的 ID 作为元素插入到 Redis ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值