布隆过滤器与倒排索引

布隆过滤器

布隆过滤器提出：

针对推送去重问题提出。
当服务器记录用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？
这里提供了三种方法：

1. 用哈希表存储用户记录，缺点：浪费空间
2. 用位图存储用户记录，缺点：不能处理哈希冲突
3. 将哈希与位图结合，即布隆过滤器

布隆过滤器概念：

是一种紧凑型的、比较巧妙的概率型数据结构。
特点：
高效的插入和查询，因为存在一定的概率型，所以只能告诉用户“某样东西一定不存在或者可能存在”。
实质：
利用多个哈希函数，讲一个数据映射到位图结构中。
优点：
提升查询效率，节省大量的内存空间。

布隆过滤器的插入、查找和缺陷：

将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位为1.
查找方法：
分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

插入baidu和tencent
baidu置1位为：1 4 7
tencent置1位为：3 4 8

若我们新插入alibaba
alibaba置1位为：1 3 8
此时插入的数据与之前已有的数据发生了重叠。

若此时要寻找baidu，只需找到1 4 7位置1的即可。
若此时要寻找toutiao，toutiao的置1位为：4 7 8
因为4 7 8此时均被置1，所以布隆过滤器会显示toutiao在这个布隆过滤器内。实际上并不存在。
这就是布隆过滤器的缺陷。

注意：
因为有些哈希函数存在一定的误判，所以会出现意外情况：即布隆过滤器如果说某个元素不存在时，该元素一定不存在。
如果说某个元素存在时，该元素可能存在。