我们先来看一道面题
给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中。【腾讯】
- 遍历,时间复杂度O(N)
- 排序(O(NlogN)),利用二分查找: logN
- 位图解决:数据是否在给定的整形数据中,结果是在或者不在,刚好是两种状态,那么可以使用一个二进制比特位来代表数据是否存在的信息,如果二进制比特位为1,代表存在,为0代表不存在虽然第一次创建都需要遍历一次 但以后查找只需要O(1)的时间复杂度
位图
所谓位图,就是用每一位来存放某种状态,适用于海量数据,数据无重复的场景。通常是用
来判断某个数据存不存在的。一个bit位有两种状态 0或1 就可以表示两种数据状态 如果需要表示一个数据的多种状态还可以多几个位 因为表示一个数据的只需要几个位 1G就要80多个亿的bit位
所以对于海量数据的一些简单判断可以使用位图
位图的实现
template<size_t N>
class bitset
{
public:
bitset()
{
_set.resize(N/8+1,0);
}
void set(size_t n)
{
size_t i = n / 8;
size_t j = n % 8;
_set[i] |= (1 << j);
}
void unset(size_t n)
{
size_t i = n / 8;
size_t j = n % 8;
_set[i] &= ~(1 << j);
}
bool test(size_t n)
{
size_t i = n / 8;
size_t j = n % 8;
return (_set[i] >> j) & 1;
}
private:
vector<char> _set;
};
位图的应用
- 快速查找某个数据是否在一个集合中
- 排序 + 去重
- 求两个集合的交集、并集等
- 操作系统中磁盘块标记
但位图也有很明显的缺点:位图一般只能处理整形,如果内容编号是字符串,就无法处理了。
布隆过滤器
布隆过滤器是由布隆(Burton Howard Bloom)在1970年提出的 一种紧凑型的、比较巧妙的概
率型数据结构,特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存
在”,它是用多个哈希函数,将一个数据映射到位图结构中。此种方式不仅可以提升查询效率,也
可以节省大量的内存空间。
布隆过滤器的实现
struct BKDRHash
{
size_t operator()(const string& s)
{
// BKDR
size_t value = 0;
for (auto ch : s)
{
value *= 31;
value += ch;
}
return value;
}
};
struct APHash
{
size_t operator()(const string& s)
{
size_t hash = 0;
for (long i = 0; i < s.size(); i++)
{
if ((i & 1) == 0)
{
hash ^= ((hash << 7) ^ s[i] ^ (hash >> 3));
}
else
{
hash ^= (~((hash << 11) ^ s[i] ^ (hash >> 5)));
}
}
return hash;
}
};
struct DJBHash
{
size_t operator()(const string& s)
{
size_t hash = 5381;
for (auto ch : s)
{
hash += (hash << 5) + ch;
}
return hash;
}
};
// N 数据个数 X 确认数据范围的一个参数
template<size_t N,class K=string,class hash1=BKDRHash,class hash2=APHash,class hash3=DJBHash>
class bloomfilter
{
public:
void set(const K& n)
{
int len = N * X;
int fhash1 = hash1()(n)%len;
_bs.set(fhash1);
int fhash2 = hash2()(n)%len;
_bs.set(fhash2);
int fhash3 = hash3()(n)%len;
_bs.set(fhash3);
}
bool test(const K& n)
{
int len = N * X;
int fhash1 = hash1()(n) % len;
if (!_bs.test(fhash1))
return false;
int fhash2 = hash2()(n) % len;
if (!_bs.test(fhash2))
return false;
int fhash3 = hash3()(n) % len;
if (!_bs.test(fhash3))
return false;
return true;
}
private:
static const size_t X = 6;
bitset<N * X> _bs;
};
布隆过滤器的查找
布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中,因此被映射到的位置的比特
位一定为1。所以可以按照以下方式进行查找:分别计算每个哈希值对应的比特位置存储的是否为
零,只要有一个为零,代表该元素一定不在哈希表中,否则可能在哈希表中。
注意:布隆过滤器如果说某个元素不存在时,该元素一定不存在,如果该元素存在时,该元素可
能存在,因为有些哈希函数存在一定的误判。
比如:在布隆过滤器中查找"alibaba"时,假设3个哈希函数计算的哈希值为:1、3、7,刚好和其
他元素的比特位重叠,此时布隆过滤器告诉该元素存在,但实该元素是不存在的。
布隆过滤器删除
布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。
比如:删除上图中"tencent"元素,如果直接将该元素所对应的二进制比特位置0,“baidu”元素也
被删除了,因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。
一种支持删除的方法:将布隆过滤器中的每个比特位扩展成一个小的计数器,插入元素时给k个计
数器(k个哈希函数计算出的哈希地址)加一,删除元素时,给k个计数器减一,通过多占用几倍存储
空间的代价来增加删除操作。
缺陷:
- 无法确认元素是否真正在布隆过滤器中
- 存在计数回绕
布隆过滤器优点
- 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数,一般比较小),与数据量大小无
关 - 哈希函数相互之间没有关系,方便硬件并行运算
- 布隆过滤器不需要存储元素本身,在某些对保密要求比较严格的场合有很大优势
- 在能够承受一定的误判时,布隆过滤器比其他数据结构有这很大的空间优势
- 数据量很大时,布隆过滤器可以表示全集,其他数据结构不能
- 使用同一组散列函数的布隆过滤器可以进行交、并、差运算
布隆过滤器缺陷
- 有误判率,即存在假阳性(False Position),即不能准确判断元素是否在集合中(补救方法:再
建立一个白名单,存储可能会误判的数据) - 不能获取元素本身
- 一般情况下不能从布隆过滤器中删除元素
- 如果采用计数方式删除,可能会存在计数回绕问题