布隆过滤器的基本概念
历史
布隆过滤器(英语:Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的 二进制向量 和 一系列随机映射函数 。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的 误识别率 和 删除困难 。[维基百科]
要解决的问题
如果想判断一个元素是不是在一个集合里,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、散列表(又叫哈希表,Hash table)等等数据结构都是这种思路,三者的检索时间复杂度分别为O(n)、O(logn)、O(1)。但是随着集合中元素的增加,我们需要的存储空间越来越大。同时检索速度也越来越慢[维基百科]
解决的思路
布隆过滤器的原理是,当一个元素被加入集合时,通过K个散列函数将这个元素映射成一个位数组中的K个点,把它们置为1。检索时,我们只要看看这些点是不是都是1就(大约)知道集合中有没有它了[维基百科]
① 如果出现0,则被检元素一定不在
② 如果都是1,则被检元素很可能在
优点
- 相比于其他数据结构,在时间和空间方面都有巨大优势(时空复杂度都为O(k))
- 不需要储存元素本身,有较好的保密性
- 可以表示全集,但其他数据结构不能
缺点
- 误算率。随着存入元素数量的增加,误算率增加。(如果元素少,可以考虑使用散列表)。因此出现了很多降低误算率的布隆过滤器变种。
- 不能删除元素。保证安全地删除元素并非如此简单。从布隆过滤器的设计概念来看,它无法保证元素一定存在。