UV统计 - HyperLogLog
首先我们搞懂两个概念:
- UV:全称Unique Visitor,也叫独立访客量,是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站,只记录1次。
- PV:全称Page View,也叫页面访问量或点击量,用户每访问网站的一个页面,记录1次PV,用户多次打开页面,则记录多次PV。往往用来衡量网站的流量。
通常来说UV会比PV大很多,所以衡量同一个网站的访问量,我们需要综合考虑很多因素,所以我们只是单纯的把这两个值作为一个参考值
UV统计在服务端做会比较麻烦,因为要判断该用户是否已经统计过了,需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中,数据量会非常恐怖,那怎么处理呢?
Hyperloglog(HLL)是从Loglog算法派生的概率算法,用于确定非常大的集合的基数,而不需要存储其所有值。相关算法原理大家可以参考:https://juejin.cn/post/6844903785744056333#heading-0
Redis中的HLL是基于string结构实现的,单个HLL的内存永远小于16kb,内存占用低的令人发指!作为代价,其测量结果是概率性的,有小于0.81%的误差。不过对于UV统计来说,这完全可以忽略。
HyperLogLog 是一种概率数据结构,用于估计集合的基数。
HyperLogLog 是一种概率数据结构,用于估计集合的基数。作为一种概率数据结构,HyperLogLog 以完美的精度换取高效的空间利用率。
Redis HyperLogLog 实现最多使用 12 KB,并提供 0.81% 的标准误差。
计算唯一项目通常需要一定量的内存 与您要计数的项目数量成正比,因为您需要 记住你过去已经看到的元素,以避免 多次计数。但是,存在一组交易算法 精度记忆:它们返回具有标准误差的估计度量, 在HyperLogLog的Redis实现的情况下,不到1%。 该算法的魔力在于您不再需要使用一定量的内存 与计数的项目数成比例,并且可以使用 恒定的内存量;在最坏的情况下为 12k 字节,或者如果您的 HyperLogLog(从现在开始我们只称它们为HLL)很少有元素。
Redis 中的 HLL 虽然在技术上是不同的数据结构,但已编码 作为 Redis 字符串,因此您可以调用 GET
来序列化 HLL,并调用 SET
将其反序列化回服务器。
从概念上讲,HLL API 就像使用集来执行相同的任务。您可以将每个观察到的元素添加到
一个集合中,并使用 SCARD
检查 集合中的元素数量,这些元素是唯一的,因为 SADD
不会 重新添加现有元素。
虽然您并没有真正将项目添加到 HLL 中,因为数据结构 仅包含不包含实际元素的状态,API 是 相同:
- 每次看到新元素时,都会使用
PFADD
将其添加到计数中。 - 如果要检索使用
PFADD
命令添加的唯一元素的当前近似值,可以使用PFCOUNT
命令。如果需要合并两个不同的 HLL,可以使用PFMERGE
命令。由于 HLL 提供唯一元素的近似计数,因此合并的结果将为您提供两个源 HLL 中唯一元素数的近似值。
命令:
PFADD key element [element ...]
summary: Adds the specified elements to the specified HyperLogLog.
since: 2.8.9
group: hyperloglog
PFCOUNT key [key ...]
summary: Return the approximated cardinality of the set(s) observed by the HyperLogLog at key(s).
since: 2.8.9
group: hyperloglog
PFMERGE destkey sourcekey [sourcekey ...]
summary: Merge N different HyperLogLogs into a single one.
since: 2.8.9
group: hyperloglog