目录
背景介绍
在一些场景下面,有大量数据需要判断是否存在,而这些数据不是整形,导致位图就派不上用场。这时,时代无比呼唤一种新的解决方案,布隆过滤器也就应运而生了。
简介
布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数(哈希函数)。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好得多,缺点是有一定的误判率和删除困难。
布隆过滤器的实现思路
BloomFilter的实现思路就是把key通过哈希函数转换成整型后在映射一个二进制位。也就是说,BloomFilter = bitset(位图) + Hash函数。考虑到只映射一个位的话哈希冲突的概率较大,所以可以通过几个哈希函数转换出几个整型,然后映射多个二进制位,降低冲突率。
布隆过滤器的作用
布隆过滤器可以告诉我们“某样东西一定不存在或者可能存在”。换句话说,它判断一个值key在是不准确的,但是判断一个值key不在是准确的。下面对这句话做出解释。
判断一个值在是不准确的。原因在于布隆过滤器存在误判,也就是说不同的key映射的3个位置上都恰好与其他元素冲突,而且这些位置都被置为了1,返回结果就是在——这就是误判。
判断一个值不在是准确的。首先,导致返回结果为不存在有两种情况,第一:元素key本来就存在,但是由于误判,导致返回结果为不存在。第二:元素key本来就不存在,然后返回结果为不存在。针对第一种情况,因为布隆过滤器保证元素不被错误的删除,元素存在的话它映射的3个二进制位一定为1,所以这种情况不可能发生。只能是第二种情况,即只有不存在的值返回结果才是不存在,证明了判断一个值不在是准确的。
布隆过滤器误判率推导过程
数据量:n
误判率:p
bit数组的大小:m
哈希函数的个数:k
针对某个二进制位:
经过1次哈希函数映射后,不被置为1的概率:
经过k个哈希函数映射后该bit位仍未被置为1的概率:(某一个二进制位被置为1后,后面还是有可能会再次映射到该位置,故总的二进制位数还是m)
该二进制位在插入n个值后依旧未被置为1的概率:
则某个二进制位在插入n个值后被置为1的概率:
故误判的概率: ①
根据
①式可化为:
②
令,则②式可化为:
误判率为k的函数,有
两边同时取对数,有
两边同时求导,有 ③
当取最值时,
(最值点的导数为0,除了端点),则③式可化为:
④
下面对④式进行化简:
(两边同时乘
)
(移项)
(把-k移到lnb内)
观察等式两边的形式,可以得到 ⑤
从⑤式中,推出⑥
在⑥式中,把b换成,有
两边同时取对数,推出最佳的哈希函数个数
根据上述描述,误判概率也可写成⑦
把⑥式代入⑦式,有
上面已推出,则
两边同时取对数,有
可化简为
进一步化简
进而推出bit数组的大小
由误判率公式可知,在k⼀定的情况下,当n增加时,误判率增加,m增加时,误判率减少。
布隆过滤器的实现
经过上述大篇幅的推导,终于得于推出BloomFilter的误判率,接下来我们着手实现。
各种字符串Hash函数——这是一篇关于各种字符串Hash函数分析的博客,我们选出3个效率较好的来作为我们布隆过滤器的Hash函数。前面在BloomFilter的实现思路中提到,BloomFilter = bitset(位图) + Hash函数,我们的BloomFilter将基于标准库里的位图(当然,你也可以基于自己实现的位图)。
#pragma once
#include <bitset>
#include <string>
#include <iostream>
//字符串Hash函数
struct HashFuncBKDR
{
size_t operator()(const std::string& str)
{
size_t hash = 0;
for (auto ch : str)
{
hash += hash * 31 + ch;
}
return hash;
}
};
//字符串Hash函数
struct HashFuncAP
{
size_t operator()(const std::string& str)
{
size_t hash = 0;
for (size_t i = 0; i < str.size(); i++)
{
if ((i & 1) == 0)
hash ^= ((hash << 7) ^ (str[i]) ^ (hash >> 3));
else
hash ^= (~((hash << 11) ^ (str[i]) ^ (hash >> 5)));
}
return hash;
}
};
//字符串Hash函数
struct HashFuncDJB
{
size_t operator()(const std::string& str)
{
size_t hash = 5381;
for (auto ch : str)
{
hash = hash * 33 ^ ch;
}
return hash;
}
};
template <size_t N,
size_t X = 6,
class K = std::string,
class Hash1 = HashFuncBKDR,
class Hash2 = HashFuncAP,
class Hash3 = HashFuncDJB>
class BloomFilter
{
public:
void set(const K& key)
{
size_t hash1 = HashFuncBKDR()(key) % M;
size_t hash2 = HashFuncAP()(key) % M;
size_t hash3 = HashFuncDJB()(key) % M;
//映射多个位
_bs->set(hash1);
_bs->set(hash2);
_bs->set(hash3);
}
bool test(const K& key)
{
//有一个为0,则不存在
size_t hash1 = HashFuncBKDR()(key) % M;
if (_bs->test(hash1) == 0)
return false;
size_t hash2 = HashFuncAP()(key) % M;
if (_bs->test(hash2) == 0)
return false;
size_t hash3 = HashFuncDJB()(key) % M;
if (_bs->test(hash3) == 0)
return false;
return true;
}
private:
static const size_t M = X * N;
std::bitset<M>* _bs = new std::bitset<M>;
};
void TestBloomFilter()
{
BloomFilter<10> bf;
std::string arr[] = { "百度", "字节", "腾讯" };
for (auto& str : arr)
{
bf.set(str);
}
std::cout << bf.test("百度") << std::endl;
std::cout << bf.test("摆度") << std::endl;
std::cout << bf.test("摆渡") << std::endl;
}
布隆过滤器的删除问题
先说结论,布隆过滤器默认是不支持删除的。下面我们来分析原因。
请看上图,我们发现,obj1和obj2都映射到了3号位上(哈希冲突),当我们删除obj1时,3号位会被置为0,导致我们再去查找obj2时会找不到,这就相当于间接的把obj2删除了。关于这个问题,有这样一个解决方案:引用计数!一个位置用多个位标记,记录映射这个位的计数值,删除时仅仅减减计数值。我们思考一下,这个方案能完美解决布隆过滤器不好删除的问题吗?这个问题不着急回答,我们先来看看下面的场景。
当我们删除一个值key时,本来key是不在布隆过滤器里的,但由于误判(假设其中冲突的一个位置为上图的4号位),结果认为是key在,然后我们删除它。此时, 4号位的计数值减减,由1减为了0,这样也间接删除了tencent。上述问题的答案就不言而喻了。还有人提出这样一种思路,支持计数方式删除,但是定期重建布隆过滤器。
布隆过滤器的优缺点
优点:
1)空间效率高。
2)查询速度快。
3)保密性强。因为布隆过滤器不存储数据本身。
缺点:
1)存在误判。
2)删除困难。
布隆过滤器的应用
1)爬虫系统中的URL去重
在爬虫系统重,为了避免重复的爬取相同的URL,可以使用布隆过滤器来进行URL的去重。爬取到的URL可以通过布隆过滤器进行判断,已经存在的URL可以直接忽略,避免重复的网络请求和数据处理。
2)垃圾邮件过滤
在垃圾邮件过滤系统中,布隆过滤器可以用来判断邮件是否为垃圾邮件。系统可以将已知的垃圾邮件特征信息存储在布隆过滤器中,当新的邮件到达时,可以通过布隆过滤器快速判断是否为垃圾邮件,从而提高过滤的效率。
3)预防缓存穿透
在分布式缓存系统中,布隆过滤器可以用来解决缓存穿透的问题。缓存穿透是指恶意用户大量请求不存在的数据,导致请求直接访问数据库,造成数据库压力过大。布隆过滤器可以先判断请求的数据是否在布隆过滤器中,如果不在,直接返回不存在,避免对数据库的无效查询。
4)对数据库查询提效
在数据库中,布隆过滤器可以用来加速查询操作。例如:一个APP要快速判断一个电话号码是否注册过,可以用布隆过滤器来判断一个用户的电话号码是否存在,如果不存在,可以直接返回不存在,避免对数据库的无效查询。如果在,再去数据库进行二次确认。
本文到这就结束啦,感谢支持!