UV统计 - HyperLogLog

UV统计 - HyperLogLog

首先我们搞懂两个概念：

• UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。
• PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。

通常来说UV会比PV大很多，所以衡量同一个网站的访问量，我们需要综合考虑很多因素，所以我们只是单纯的把这两个值作为一个参考值

UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中，数据量会非常恐怖，那怎么处理呢？

Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。相关算法原理大家可以参考：https://juejin.cn/post/6844903785744056333#heading-0
Redis中的HLL是基于string结构实现的，单个HLL的内存永远小于16kb，内存占用低的令人发指！作为代价，其测量结果是概率性的，有小于0.81％的误差。不过对于UV统计来说，这完全可以忽略。

HyperLogLog 是一种概率数据结构，用于估计集合的基数。

HyperLogLog 是一种概率数据结构，用于估计集合的基数。作为一种概率数据结构，HyperLogLog 以完美的精度换取高效的空间利用率。

Redis HyperLogLog 实现最多使用 12 KB，并提供 0.81% 的标准误差。

计算唯一项目通常需要一定量的内存 与您要计数的项目数量成正比，因为您需要 记住你过去已经看到的元素，以避免 多次计数。但是，存在一组交易算法 精度记忆：它们返回具有标准误差的估计度量， 在HyperLogLog的Redis实现的情况下，不到1%。 该算法的魔力在于您不再需要使用一定量的内存 与计数的项目数成比例，并且可以使用 恒定的内存量;在最坏的情况下为 12k 字节，或者如果您的 HyperLogLog（从现在开始我们只称它们为HLL）很少有元素。

Redis 中的 HLL 虽然在技术上是不同的数据结构，但已编码 作为 Redis 字符串，因此您可以调用 GET 来序列化 HLL，并调用 SET 将其反序列化回服务器。

从概念上讲，HLL API 就像使用集来执行相同的任务。您可以将每个观察到的元素添加到一个集合中，并使用 SCARD 检查 集合中的元素数量，这些元素是唯一的，因为 SADD 不会 重新添加现有元素。

虽然您并没有真正将项目添加到 HLL 中，因为数据结构 仅包含不包含实际元素的状态，API 是 相同：

• 每次看到新元素时，都会使用 PFADD将其添加到计数中。
• 如果要检索使用 PFADD 命令添加的唯一元素的当前近似值，可以使用 PFCOUNT 命令。如果需要合并两个不同的 HLL，可以使用 PFMERGE 命令。由于 HLL 提供唯一元素的近似计数，因此合并的结果将为您提供两个源 HLL 中唯一元素数的近似值。

命令：

PFADD key element [element ...]
summary: Adds the specified elements to the specified HyperLogLog.
since: 2.8.9
group: hyperloglog

PFCOUNT key [key ...]
summary: Return the approximated cardinality of the set(s) observed by the HyperLogLog at key(s).
since: 2.8.9
group: hyperloglog

PFMERGE destkey sourcekey [sourcekey ...]
summary: Merge N different HyperLogLogs into a single one.
since: 2.8.9
group: hyperloglog