布隆过滤器

目录

概念

实现

布隆过滤器优缺

优点

缺点

面试题

完整代码

概念

当我们进行对海量字符串进行查找时，我们单纯采用位图法可能存在冲突，无法解决，这时我们可以使用布隆过滤器

适用于可以接受误判的场景

我们可以采用三种字符串转化方法对字符串进行转化分别存储在位图当中，通过对三个位置的判断来进行对数据的判断

一般提供set，test两个接口

前提知识位图：http://t.csdnimg.cn/oJPMD

实现

底层是位图

我们需要多个哈希函数来进行将字符串转换成整型

布隆过滤器优缺

优点

1.增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关

2. 哈希函数相互之间没有关系，方便硬件并行运算

3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势

4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势

5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能

6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

缺点

1. 有误判率，不能准确判断元素是否在集合中(补救方法：再建立一个白名单，存储可能会误判的数据)

2. 不能获取元素本身

3. 一般情况下不能从布隆过滤器中删除元素

面试题

给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法？

近似算法：利用布隆过滤器，交集的就一定会进去，但是可能会存在误判：不同的也会进去，这是近似

精准算法：query一般是查询指令，比如可能是网络请求，或者是一个数据库sql语句

100亿个query,假设平均每个query是50byte，则100亿个query那就是合计500GB

相同的query，是一定进入相同编号的小文件，再对这些文件放进内存的两个set中，编号相同的Ai和Bi小文件找交集即可

完整代码

struct BKDRHash
	{
		size_t operator()(const string& key)
		{
			// BKDR
			size_t hash = 0;
			for (auto e : key)
			{
				hash *= 31;
				hash += e;
			}

			return hash;
		}
	};

	struct APHash
	{
		size_t operator()(const string& key)
		{
			size_t hash = 0;
			for (size_t i = 0; i < key.size(); i++)
			{
				char ch = key[i];
				if ((i & 1) == 0)
				{
					hash ^= ((hash << 7) ^ ch ^ (hash >> 3));
				}
				else
				{
					hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));
				}
			}
			return hash;
		}
	};

	struct DJBHash
	{
		size_t operator()(const string& key)
		{
			size_t hash = 5381;
			for (auto ch : key)
			{
				hash += (hash << 5) + ch;
			}
			return hash;
		}
	};


	template<size_t N
		, class K = string
		, class HashFunc1 = BKDRHash
		, class HashFunc2 = APHash
		, class HashFunc3 = DJBHash>
	class BloomFilter
	{
	public:
		void set(const K& key)
		{
			size_t hash1 = HashFunc1()(key) % N;
			size_t hash2 = HashFunc2()(key) % N;
			size_t hash3 = HashFunc3()(key) % N;

			_b1.set(hash1);
			_b1.set(hash2);
			_b1.set(hash3);
		}

		bool test(const K& key)
		{
			//存在误判
			//判断在不一定在
			//判断不在一定不在
			size_t hash1 = HashFunc1()(key) % N;
			size_t hash2 = HashFunc2()(key) % N;
			size_t hash3 = HashFunc3()(key) % N;

			if (_b1.test(hash1) ==false)
				return false;
			if(_b1.test(hash2) ==false)
				return false;
			if (_b1.test(hash3) == false)
				return false;

			return true;
		}
	private:
		bitmap<N> _b1;
	};