布隆过滤器(Bloom filter)的原理

最新推荐文章于 2024-07-24 19:35:30 发布

LXJYM

最新推荐文章于 2024-07-24 19:35:30 发布

阅读量973

点赞数 14

文章标签：数据结构

本文链接：https://blog.csdn.net/LXJYM/article/details/135600441

版权

本文介绍了BloomFilter的基本概念、数据结构、优点与缺点，包括时间复杂度低、保密性强和空间效率高等特性，以及其在缓存穿透、邮件过滤、爬虫网址过滤等场景的应用。同时，详细讲解了BloomFilter的原理，包括空间计算、增加和查询元素的方法以及误判的可能性。

摘要由CSDN通过智能技术生成

1.什么是Bloom Fliter

Bloom Fliter是1970年Bloom提出的。他实际上是一个很长的二进制向量和一系列随机的映射函数。
Bloom Fliter 可以用于检索一个元素是否在一个集合中，它的优点是空间效率和查询时间都比一般的算法要好很多，缺点是有一定的误识别率和删除困难。
可以把Bloom Fliter理解成为一个set集合，我们可以通过add往里面添加元素，通过contains来判断是否包含某个元素。

Bloom Filter的优点

时间复杂度低，增加和查询元素的时间复杂度为O(N) N为hash函数的个数，通常情况下比较小。
保密性强，布隆过滤器不存储元素本身。
存储空间小，如果允许存在一定程度的误判，布隆过滤器是非常节省空间的(相比其他数据结构比如说Set集合)。

Bloom Filter的缺点

有点一定的误判率，但是可以通过调整参数来降低。
无法获取元素本身。
很难删除元素。

2.Bloom Fliter 的使用场景

Bloom Filter 可以告诉我们"某样东西一定不存在或者可能存在,也就是说Bloom Filter说这个数不存在则一定不存在，Bloom Fliter说这个数存在可能不存在" 利用是这个判断是否存在的特点可以做很多有趣的事情。

解决Redis缓存穿透的问题。
邮件过滤，使用Bloom Fliter来做邮件黑名单过滤。
对爬虫网址进行过滤，爬过的不在爬。
解决新闻推荐过的不再推荐(类似抖音刷过的往下滑动不在刷到)。
HBase、RocksDB、LevelDB等数据库内置Bloom Fliter，用于判断数据是否存在，可以减少数据库的I/O请求。

3.Bloom Filter 的原理

3.1 数据结构

Bloom Filter 实际上是一个很长的二进制向量和一系列随机映射函数，以Redis中的Bloom Filter实现为例，Redis中的Bloom Filter底层是一个大型位数组(二进制数组)+多个无偏hash函数。
在这里插入图片描述
多个无偏hash函数

无偏hash函数就是能把元素的hash值计算的比较均匀的函数，能使得计算后的元素下标比较均匀的映射到位数组中。

如下就是一个简单的Bloom Filter的示意图，其中k1、k2代表增加的元素，a、b、c即为无偏的hash函数，最下层则为二进制数组。

在这里插入图片描述

3.2 空间计算

在BloomFilter增加元素之前，首先需要初始化Bloom Filter的空间，也就是上面说的二进制数组，除此之外还需要计算无偏hash函数的个数。Bloom Filter提供了两个参数，分别是预计加入元素的大小n，运行时的错误率f。BloomFilter中有两个算法根据这两个参数会计算出二进制数组的大小l，以及无偏hash函数的个数k。

他们之间的关系比较简单

错误率越低，位数组越长，空间占用占用较大。
错误率越低，无偏hash函数越多，计算耗时较长。

如下地址是一个免费的在线BloomFilter在线计算的网址

https://krisives.github.io/bloom-calculator/

3.3 增加元素

往BloomFilter增加元素，添加的key需要根据k个无偏hash函数计算得到多个hash值，然后对数组长度进行取模得到数组下标的位置，然后对应数组下标的位置的值置为1。

通过K个无偏hash函数计算的到k个hash值。
依次取模数组长度，得到数组索引。
将计算得到的数组索引下标位置的数据修改为1。
例如，key=Liziba，无偏hash函数的个数k=3,分别为hash1、 hash2、 hash3。三个hash函数计算后得到三个数组下标值，并将其值系应该为1。
如图所示:

3.4查询元素

Bloom Fliter 最大的用处就在于判断某样东西一定不存在或者可能存在，而这个就是查询元素的结果。其查询元素的过程如下:

通过k个无偏hash函数计算得到K个hash值。
依次取模数组长度，得到数组索引。
判断索引处的值是否全部为1，如果全部为1则存在(这种存在可能是误判)，如果存在一个0则必定不存在。

关于误判,其实非常好理解，hash函数再怎么好，也无法完全避免hash冲突，也就是说可能会存在多个元素计算的hash值是相同的，那么它们取模数组长度后得到的数组索引也是相同的，这就是误判的原因。例如李子柒和李子捌的hash值取模后得到的数组索引都是1，但其实只有李子捌，如果此时判断李子柒在不在这里，误判就出现啦！因此Bloom Fliter 最大的缺点误判只要知道其判断元素是否存在的原理很容里就明白了。