布隆过滤器
应用场景,用来判断一个元素是否存在与包含大量元素的集合中。
可以快速知道一定不存在或者可能存在
我们可以把布隆过滤器当成由一个较大的bit array(位数组)和几个哈希函数组成的数据结构。
为什么不用现有的List,Map,Set这些数据结构呢?
因为它占用的空间更少,仅是一个01的二进制数组,效率更高。但是缺点就是会出现误判。
为什么判断可能存在会误判呢?
因为当一个元素加入布隆过滤器的时候,要经过两步:
- 该元素调用布隆过滤器中的哈希函数,得到几个哈希值。
- 将位数组的下标为相应哈希值的位置为 1。
那么当使用布隆过滤器判断一个元素是否存在也要经过两步:
- 该元素进行相同的哈希计算得到相同的哈希值。
- 在位数组中查找以这些哈希值位下标的位是不是1,均为1表示该元素可能存在,有一个为0,则该元素一定不存在。
那么通过判断计算出的哈希值所在位的值为1,就判断是否存在。很可能会存在某个位置上的1是别的元素添加时设置为1的。
如下图:
在布隆过滤器中添加元素key1:
在布隆过滤器中添加元素key2:
那么此时我们没有添加key3元素,但是如果key3通过两个hash函数的计算得出的值为1,2。那么布隆过滤器也会判断key3存在。从而出现了误判。
所以显然布隆过滤器的长度和哈希函数的个数设置要合适:
- bit位的长度不能太短,不然很快就会都被置为1.
- 哈希函数个数不能太多,导致bit位置为1的速度过快,并且太多的哈希函数会降低布隆过滤器的效率
数个数不能太多,导致bit位置为1的速度过快,并且太多的哈希函数会降低布隆过滤器的效率 - 哈希函数也不能太少,会导致误报率变高。