海量数据去重神器——布隆过滤器

1.前言

大数据处理过程中，常常遇到去重的需求。

例如，头条推荐系统要求对每个用户都不会出现重复推荐。

传统的做法是，将所有的记录都采用类似HashSet的结构缓存起来，当需要判断新的数据是否重复时，通过集合的contains方法判断。

当数据量达到亿级时，这种方法消耗的内存，以及计算的速度都是不可接受的。

比如，对于头条推荐系统，假设注册用户为100万，平均每个用户每月推荐1000篇文章，并假设允许一个月之后出现重复推荐。

那么，缓存的推荐记录数为：100万 * 1000 = 10亿。假设采用32字节的UUID作为ID，则一共接近28GB字节。

如果用户量上千万甚至上亿，这种开销会指数级上升。

有人可能想到采用分片的方法，将大集合拆分成若干小集合，例如按userId分片，每10万用户一个小集合，那么每个集合可以降到3GB左右。

这是处理海量数据必备的手段。

但是分片之后呢？10个3GB的大集合，势必要搭建一个Redis集群，还要给Redis集群配置高可用、副本集等等一系列配套设施。可以说成本不低。

在现有的基础设施范围内，有没有更优的方案？有！布隆过滤器。

2.关于布隆过滤器

布隆过滤器百科

3.如何与Spark结合

Spark提供了布隆过滤器的原生实现，经实际验证，与Spark生态