C++布隆过滤器

异样旧日

已于 2023-06-24 07:47:49 修改

阅读量389

点赞数 5

分类专栏：一块来学C++ 文章标签： c++ 开发语言

于 2023-06-24 07:46:24 首次发布

本文链接：https://blog.csdn.net/qq_60880296/article/details/131357425

版权

一块来学C++ 专栏收录该内容

24 篇文章 1 订阅

订阅专栏

布隆过滤器

介绍

在许多场景下，如设置昵称时，往往要求唯一性。这时就需要高效判断该昵称是否被使用过。

使用红黑树的kv模型或者哈希表来组织昵称集合，可以，但缺点是可能使用浪费大量内存空间
使用位图，将字符串先转换为整型数字，然后映射到具体比特位上，通过0/1状态判断。可以，但缺点是发生哈希冲突，导致不同昵称最终映射到相同的比特位，发生误判。

布隆过滤器：

可以用来告诉你 “某样东西一定不存在或者可能存在”。它是用多个哈希函数，将一个数据映射到位图结构中。提升查询效率，节省大量的内存空间

将一个数据通过多个哈希函数映射到多个比特位。
查询某个数据是否存在时，通过这些哈希函数映射到对应比特位。如果都为1，则存在；如果有一位为0，则不存在。
使用多个不同的哈希函数，可以降低误判率
（如：某个未被使用的昵称，经过多个哈希函数映射后，还是有可能和昵称集合中某些映射到相同比特位，发现全为1，误判：该昵称已经被使用）

在这里插入图片描述

随着1的比特位逐渐增多，误判率也会增加，存在（可以忍受的）错误率，通过调整哈希函数和位图大小来平衡。

如何选择合适的k和m值呢？
k为哈希函数个数，m为布隆过滤器长度，n为插入的元素个数，p为误判率

这里有一个公式：

$m=-\frac{nlnp}{(ln2)^2}\\ k=\frac{m}{n}ln2$

当哈希函数个数 $k = 3$ ， $ln2\approx0.7$ ，则 $m = 4.3 n$ ，即位图长度应该是插入元素个数的4~5倍

实现

哈希函数

下面三个都是比较经典的字符串转整型的哈希函数

struct HashBKDR
{
	// BKDR
	size_t operator()(const string& key)
	{
		size_t val = 0;
		for (auto ch : key)
		{
			val *= 131;
			val += ch;
		}

		return val;
	}
};

struct HashAP
{
	// BKDR
	size_t operator()(const string& key)
	{
		size_t hash = 0;
		for (size_t i = 0; i < key.size(); i++)
		{
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ key[i] ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ key[i] ^ (hash >> 5)));
			}
		}
		return hash;
	}
};
struct HashDJB
{
	// BKDR
	size_t operator()(const string& key)
	{
		size_t hash = 5381;
		for (auto ch : key)
		{
			hash += (hash << 5) + ch;
		}

		return hash;
	}
};

布隆过滤器

// N表示准备要映射N个值
template<size_t N,
	class K = string, class Hash1 = HashBKDR, class Hash2 = HashAP, class Hash3 = HashDJB>
	class BloomFilter
{
public:
	void Set(const K& key)
	{
		size_t hash1 = Hash1()(key) % (_ratio * N);
		_bits->set(hash1);

		size_t hash2 = Hash2()(key) % (_ratio * N);
		_bits->set(hash2);

		size_t hash3 = Hash3()(key) % (_ratio * N);
		_bits->set(hash3);
	}

	bool Test(const K& key)
	{
		size_t hash1 = Hash1()(key) % (_ratio * N);
		if (!_bits->test(hash1))
			return false; // 准确的

		size_t hash2 = Hash2()(key) % (_ratio * N);
		if (!_bits->test(hash2))
			return false; // 准确的

		size_t hash3 = Hash3()(key) % (_ratio * N);
		if (!_bits->test(hash3))
			return false;  // 准确的

		return true; // 可能存在误判
	}

	// 不支持删除
	//void Reset(const K& key);

private:
    //开辟_ration * 5个比特位空间，减少误判率
	const static size_t _ratio = 5;
	std::bitset<_ratio * N>* _bits = new std::bitset<_ratio * N>;
};