哈希的应用 —— 布隆过滤器

霄沫凡

已于 2023-01-09 14:42:58 修改

阅读量592

点赞数 2

分类专栏： C++入门到进阶文章标签：哈希算法算法

于 2023-01-09 14:40:46 首次发布

本文链接：https://blog.csdn.net/sjsjnsjnn/article/details/128612832

版权

C++入门到进阶专栏收录该内容

34 篇文章 31 订阅

订阅专栏

3. 哈希函数和布隆过滤器的长度对误判的影响

一、布隆过滤器的提出

我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。如何快速查找呢？

用哈希表存储用户记录，缺点：浪费空间
用位图存储用户记录，缺点：不能处理哈希冲突
将哈希与位图结合，即布隆过滤器

二、布隆过滤器的介绍

1. 基本概念

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的一种紧凑型的、比较巧妙的概率型数据结 构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

图一：A/B/C代表三个集合，通过hash算法将它映射到位图结构中，对应的位置会被置为1，D/F两个集合也通过相同的hash算法，去判断自己是否在位图中存在；我们可以看到，D集合是存在于位图中的，F集合不存在；但实际上D集合并不在A/B/C整个集合中，这就出现了哈希冲突；在布隆过滤器中，这种现象被称为“误判”；为了解决这样的问题，布隆过滤器采用多个哈希函数来减少这样的冲突。看图二；

图二：刚刚图一中是C/D集合发生冲突，将所有集合通过两个哈希算法，去映射到位图结构中，我们可以发现，C/D集合分别映射了两个位置，虽然C/D集合有一个位置是冲突的，但是我们就可以判断两个哈希算法映射的位置是否都相同，如果都相同，则表明哈希冲突了，只要有一个位置不同，就不是哈希冲突。但是也架不住两个哈希算法会将这两个集合都映射到相同的位置，所有布隆过滤器不是完全意义上的解决哈希冲突，但是能够很大概率的解决哈希冲突。

2. 布隆过滤器的特点

当布隆过滤器判断一个数据存在可能是不准确的，因为这个数据对应的比特位可能被其他一个数据或多个数据占用了。
当布隆过滤器判断一个数据不存在一定是准确的，因为如果该数据存在那么该数据对应的比特位都应该已经被设置为1了。

3. 哈希函数和布隆过滤器的长度对误判的影响

很显然，过小的布隆过滤器很快所有的比特位都会被设置为1，此时布隆过滤器的误判率就会变得很高，因此布隆过滤器的长度会直接影响误判率，布隆过滤器的长度越长其误判率越小。
此外，哈希函数的个数也需要权衡，哈希函数的个数越多布隆过滤器中比特位被设置为1的速度越快，并且布隆过滤器的效率越低，但如果哈希函数的个数太少，也会导致误判率变高。

有人通过计算后得出了上图关系式；

三、布隆过滤器的实现

首先，布隆过滤器可以实现为一个模板类，因为插入布隆过滤器的元素不仅仅是字符串，也可以是其他类型的数据，只有调用者能够提供对应的哈希函数将该类型的数据转换成整型即可，但一般情况下布隆过滤器都是用来处理字符串的，所以这里可以将模板参数K的缺省类型设置为string。

布隆过滤器中的成员一般也就是一个位图，我们可以在布隆过滤器这里设置一个非类型模板参数N，用于让调用者指定位图的长度。

//布隆过滤器
template<size_t N, class K = string, class Hash1 = BKDRHash, class Hash2 = APHash, class Hash3 = DJBHash>
class BloomFilter
{
public:
	//...
private:
	bitset<N> _bs;
};

布隆过滤器的长度由我们的非类型模板参数N来确定后，我们需要三个不同的hash函数，用来对字符串进行哈希映射；（布隆过滤器一般用来出来字符串）

这里选取将字符串转换成整型的哈希函数，是经过测试后综合评分最高的BKDRHash、APHash和DJBHash，这三种哈希算法在多种场景下产生哈希冲突的概率是最小的。
此时本来这三种哈希函数单独使用时产生冲突的概率就比较小，现在要让它们同时产生冲突概率就更小了。

struct BKDRHash {
	size_t operator()(const string& s) {
		size_t value = 0;
		for (auto ch : s) {
			value *= 31;
			value += ch;
		}
		return value;
	}
};

struct APHash {
	size_t operator()(const string& s) {
		size_t hash = 0;
		for (long i = 0; i < s.size(); i++) {
			if ((i & 1) == 0) {
				hash ^= ((hash << 7) ^ s[i] ^ (hash >> 3));
			}
			else {
				hash ^= (~((hash << 11) ^ s[i] ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

struct DJBHash {
	size_t operator()(const string& s) {
		size_t hash = 5381;
		for (auto ch : s) {
			hash += (hash << 5) + ch;
		}
		return hash;
	}
};

1. 布隆过滤器的插入（Set接口）

布隆过滤器当中需要提供一个Set接口，用于插入元素到布隆过滤器当中。插入元素时，需要通过三个哈希函数分别计算出该元素对应的三个比特位，然后将位图中的这三个比特位设置为1即可。

void Set(const K& key) {
	size_t len = 4 * N;
	size_t index1 = HashFunc1()(key) % len;
	size_t index2 = HashFunc2()(key) % len;
	size_t index3 = HashFunc3()(key) % len;
	_bs.set(index1);
	_bs.set(index2);
	_bs.set(index3);
}

2. 布隆过滤器的查找（Test接口）

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中（存在误判）。

bool Test(const K& key) {
	size_t len = 4 * N;
	size_t index1 = HashFunc1()(key) % len;
	if (_bs.test(index1) == false) return false;

	size_t index2 = HashFunc2()(key) % len;
	if (_bs.test(index2) == false) return false;

	size_t index3 = HashFunc3()(key) % len;
	if (_bs.test(index3) == false) return false;

	return true;//存在误判
}

注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。

3. 布隆过滤器的删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。

因为布隆过滤器判断一个元素存在时可能存在误判，因此无法保证要删除的元素确实在布隆过滤器当中，此时将位图中对应的比特位清0会影响其他元素。
此外，就算要删除的元素确实在布隆过滤器当中，也可能该元素映射的多个比特位当中有些比特位是与其他元素共用的，此时将这些比特位清0也会影响其他元素。

如何支持布隆过滤器删除呢？

一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。

可是布隆过滤器最终还是没有提供删除的接口，因为使用布隆过滤器本来就是要节省空间和提高效率的。在删除时需要遍历文件或磁盘中确认待删除元素确实存在，而文件IO和磁盘IO的速度相对内存来说是很慢的，并且为位图中的每个比特位额外设置一个计数器，就需要多用原位图几倍的存储空间，这个代价也是不小的。

四、布隆过滤器的优点

增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关。
哈希函数相互之间没有关系，方便硬件并行运算。
布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势。
在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势。
数据量很大时，布隆过滤器可以表示全集，其他数据结构不能。
使用同一组散列函数的布隆过滤器可以进行交、并、差运算。