问题的引入:
我们在使用看b站时,它会不停给我们推送内容,但是每次推送的内容基本上都不是重复的,那么它是怎么做到推送去重的呢?怎么快速过滤掉用户已经查看过的内容呢?
- 用hashtable 缺点:浪费空间
- 用位图存储用户记录 缺点:位图一般只能用来处理整形,如果内容编号是字符串则无法处理了。
所以这时 将hashtable和位图相结合也就有了我们的 bloom filter
bloom filter 概念
布隆过滤器是由 Burton Howard Bloom 在1970年提出的一种概率型的数据结构,特点是高效的插入和查询,能够告诉你某样东西一定不在或者可能存在,它是用多个哈希函数,将一个数据映射到位图结构中。此种方式不仅可以提升查询效率,还能节省大量的空间。
布隆过滤器的优点
- 增加和查询元素的时间复杂度为O(k),k为哈希函数个数,一般比较小,与数据量无关。
- 哈希函数相互之间没有关系,方便硬件并行运算。
- 布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大的优势
- 在能够承受一定的误判时,布隆过滤器比其他数据结构由着很大的空间优势。
- 数据量很大时,布隆过滤器可以表示全集
- 使用同一组散列函数的布隆过滤器可以进行交 并 补 的运算。
布隆过滤器的缺点
- 有误判率,存在假阳性(False Positive),不能准确判断元素是否在集合中。(能判断某个元素一定不存在,但不能判断某个元素一定存在)
- 不能获取元素本身,存的只是一个标识
- 一般情况下bloom filter不支持删除
- 如果采用计数方式删除,可能会存在计数回绕问题。
关于让bloom filter的删除功能
布隆过滤器不能直接支持删除工作,因为在删除一个元素时,会影响其他元素
一种支持删除的方法:将bloom filter中的每个比特位扩展成一个小的计数器,插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一,删除元素时,给k个计数器减一,通过多占用几倍的存储空间的代价来增加删除。
但是 1. 无法确认元素是否真正在布隆过滤器中
2. 存在计数回绕
bloom filter的应用场景:
-
注册的时候,快速判断某个昵称是否用过
没有用过,ok
用过,再去数据库中确认 -
黑名单
不是黑名单,放行
是,再去数据库中确认
以两个hashfunc为例实现布隆过滤器
namespace lsy
{
struct DJBHash
{
size_t operator()(const std::string& s)
{
size_t hash = 5381;
for (auto ch : s)
{
hash += (hash << 5) + ch;
}
return hash;
}
};
struct JSHash
{
size_t operator()(const std::string& s)
{
size_t hash = 1315423911;
for (auto ch : s)
{
hash ^= ((hash << 5) + ch + (hash >> 2));
}
return hash;
}
};
template<size_t M,class K = std::string,
class HashFunc1=DJBHash,
class HashFunc2 =JSHash>
class BloomFilter
{
public:
void Set(const K& key)
{
size_t hash1 = HashFunc1()(key) % M;
size_t hash2 = HashFunc2()(key) % M;
_bs.set(hash1);
_bs.set(hash2);
}
bool Test(const K& key)
{
size_t hash1 = HashFunc1()(key) % M;
if (_bs.test(hash1) == false)
{
return false;
}
size_t hash2 = HashFunc2()(key) % M;
if (_bs.test(hash2) == false)
{
return false;
}
return true; // 只是有可能存在
}
private:
bitset<M> _bs;
};
}