【Redis】Redis Hyperloglog 大数据去重算法分析

1.概述

本文来自：《Redis深度历险 核心原理与应用实践》_钱文品.pdf

在开始本节之前，我们先思考一个常见的业务问题：如果你负责开发维护一个大型的网站，有一天老板技产品经理要网站上每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？

如果统计 PV ，那非常好办，给每个网页配一个独立的 Redis 计数器就可以了，把这个计数器的 key 后缀加上当天的日期。这样来一个请求，执行 incrby 指令一次，最终就可以统计出所有的 PV 数据。

但是 UV 不一样，它要去重，同一个用户一天之内的多次访问请求只能计数一次。这就要求每一个网页请求都需要带上用户的 ID ，无论是登录用户还是未登录用户都需要一个唯一 来标识。

你也许已经想到了一个简单的方案，那就是为每一个页面设置一个独立的 set合来存储所有当天访问过此页面的用户囚。当一个请求过来时，我们使用 sadd 将用ID 塞进去就可以了。通过 scard 可以取出这个集合的大小，这个数字就是这个页面的 UV 数据。没锚，这是一个非常简单的可行方案。

但是，如果你的页面访问量非常大，比如一个爆款页面可能有几千万个 UV ，你就需要一个很大的 set 集合来统计，