布隆过滤器

布隆过滤器（Bloom Filter）是一种空间效率极高的概率型数据结构，主要用于判断一个元素是否可能属于某个集合。它的基本原理是利用位数组（Bitmap）和一组哈希函数来实现快速且近似的存在性查询。

一、布隆过滤的工作原理

1. 初始化时，位数组的所有位都被设置为0。位数组的最大长度是2的32次方，大约42亿

2. 当要插入一个元素时，使用预先设定好的多个独立、均匀分布的哈希函数对元素进行哈希运算，每个哈希函数都会计算出一个位数组的索引位置。

3. 将通过哈希运算得到的每个索引位置的位设置为1。

4. 查询一个元素是否存在时，同样用相同的哈希函数对该元素进行运算，并检查对应位数组的位置是否都是1。如果所有位都为1，则认为该元素可能存在于集合中(小概率存在hash碰撞)；如果有任何一个位为0，则可以确定该元素肯定不在集合中。

5. 由于哈希碰撞的存在，当多位同时为1时，可能出现误报（False Positive），即报告元素可能在集合中。

（所以布隆过滤器是有一定的误杀概率的，但是可以通过增加hash次数，降低hash碰撞的概率，来降低布隆的误杀率）

二、布隆过滤器的优缺点

优点：

1. 空间效率高：相比于精确存储所有元素的数据结构，布隆过滤器所需的内存空间小得多。

布隆过滤器占用空间计算:

  2的32次方=4294967296(字节)

  1GB = 1024*1024 *1024 = 1073741824(字节)

  所以单个布隆过滤的最大存储大约是4GB，存放42亿点位的数据

1. 查询速度快：只需要执行几个哈希函数并检查位数组即可完成查询。

缺点：

1. 不可删除：标准布隆过滤器不支持元素的删除操作，因为无法得知哪些位仅是因为当前查询的元素而置1的。

2. 误报率：随着元素数量增加，误报率也会逐渐升高，但是可以通过调整位数组大小和哈希函数数量来控制误报率。

三、应用场景

1. 缓存击穿防护（通过缓存数据在数据库是否存在，减少对数据库的访问次数）

2. 重复数据检测

3. 垃圾邮件过滤（电子邮件系统的垃圾邮件地址库，快速判断收到的邮件是否可能来自已知的垃圾邮件发送者）

4. 推荐系统（个性化推荐系统中，用于快速排除用户已经浏览过或者不感兴趣的内容）

5. 数据分析与挖掘（在大规模数据清洗阶段，用来剔除重复样本或无效数据，采集就是这个场景）

6. 网络安全（网络防火墙和入侵检测系统中，用于过滤已知恶意IP或攻击特征）

还有很多就不穷举了。

四、采集服务

采集每天可能要处理上百亿的数据，自动导每10分钟要采集近70分钟的聊天记录。这里就存在大量的重复数据，因此需要对数据去重。去重我们采用根据消息id去重，微信聊天记录的消息ID是19位的数字字符串；

1. 如果直接使用布隆过滤，必然是存在很大的误杀概率。因为布隆过滤最大只有2的32位的长度，大约42亿，10位数字。

2. 如果直接使用redis缓存消息id来去重，按照每天3亿的有效数据来计算，大约需要8G的内存，显然这也不是个好办法。

最终去重逻辑考虑把每次上传的消息分成3部分，分别是重复数据、偏移数据和新数据三部分，如图：

上面图中，我们每次可以直接过滤掉重复部分的数据，因此我们只需要对偏移部分的数据进行过滤，这大大减少了需要过滤的数据量。再把偏移部分数据使用布隆过滤去重，布隆的误杀率是万分之一。数据量相对较小，且误杀率低。

五、参考资料

布隆过滤器 Bloom Filter-CSDN博客