位图和布隆过滤器

前言 

在学习过哈希之后，我们对于哈希其实理解哈希可以通过与计数排序联系起来。哈希的本质其实就是将数据与下标位置对应起来，所以我们就有了unordered_map和unordered_set的出现。但是当我们如果是对数以万计的数据进行统计的话呢，那么还是用hash来辅助嘛。其实哈希的缺陷型就是空间换时间，哈希本身的消耗其实就是相当大的，因为哈希底层实际就是顺序表+单链表的存储结构。所以我们可以借助哈希的思路另寻路径。也就是我们要谈到的位图以及布隆过滤器。

位图

位图往往就是用来判断数据是否存在或者数据的数量是否大于2的应用场。其底层就相当于计数排序。所以我们如何判断数据在不在其实根本没必要像unordered_map一样用模版参数int，int来存储，其实用一个比特位来表示数据是否存在的话会显得更加合理且节省空间。

    template<size_t N>//N是指存的数据个数，即：比特位
	class bitset
	{
	public:
		bitset()
		{
			_v.resize(N / 32 + 1, 0);//开辟空间且置为0(不存在)
		}
		void set(size_t x)//存数据
		{
			int i = x / 32;//在哪一个整型区域
			int j = x % 32;//在具体哪一个比特位
			_v[i] |= (1 << j);
		}
		void reset(size_t x)//删数据
		{
			int i = x / 32;//在哪一个整型区域
			int j = x % 32;//在具体哪一个比特位
			_v[i] &= ~(1 << j);
		}
		bool test(size_t x)//检查
		{
			int i = x / 32;//在哪一个整型区域
			int j = x % 32;//在具体哪一个比特位
			return _v[i] >> j & 1;
		}
	private:
		vector<int> _v;
	};

位图的应用

1. 快速查找某个数据是否在一个集合中
2. 排序 + 去重
3. 求两个集合的交集、并集等
4. 操作系统中磁盘块标记

布隆过滤器

位图其实一般都是针对整型数据的，因为整型数据可以很好的和下标位置一一对应起来，但是对于字符串类型的数据操作的话，位图显然是行不通的，所以就有了我们的布隆过滤器的出现，布隆过滤器其实相较于位图来说整体的思路是没怎么改变的，只是数据存储的方式运用到了哈希函数，而有哈希函数自然就会有哈希冲突，哈希冲突是无法避免的，但是我们可以降低哈希冲突发生的概率。所以我们会将一个数据进行多次的哈希得到不同的下标位置，然后再映射到多个位置处。

所以说布隆过滤器并没有百分百的把握能够找到数据的存在与否，具体说，如果要找的数据不在的话那就一定是没有该数据，但是要找的数据有的话，并没有把握说该数据就一定在。

struct BKDRHash//1
{
	size_t operator()(const string& key)
	{
		// BKDR
		size_t hash = 0;
		for (auto e : key)
		{
			hash *= 31;
			hash += e;
		}

		return hash;
	}
};

struct APHash//2
{
	size_t operator()(const string& key)
	{
		size_t hash = 0;
		for (size_t i = 0; i < key.size(); i++)
		{
			char ch = key[i];
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ ch ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

struct DJBHash//3
{
	size_t operator()(const string& key)
	{
		size_t hash = 5381;
		for (auto ch : key)
		{
			hash += (hash << 5) + ch;
		}
		return hash;
	}
};

template<size_t N, class K = string,
	class HashFunc1 = BKDRHash,
	class HashFunc2 = APHash,
	class HashFunc3 = DJBHash>//此时每一个值对应的并不是唯一位置，而是三个位置
class BloomFilter
{
public:
	void Set(const K& key)
	{
		size_t hash1 = HashFunc1()(key) % N;
		size_t hash2 = HashFunc2()(key) % N;
		size_t hash3 = HashFunc3()(key) % N;
		
		_bs.set(hash1);
		_bs.set(hash2);
		_bs.set(hash3);

		/*cout << hash1 << endl;
		cout << hash2 << endl;
		cout << hash3 << endl << endl;*/
	}

	// 一般不支持删除，删除一个值可能会影响其他值（一个位置并不是唯一的对应一个值）
	// 如果要删除数据的话，可以用多个位标记一个值，存引用计数
	// 但是这样话，空间消耗的就变大了
	void Reset(const K& key);

	bool Test(const K& key)
	{
		// 判断不存在是准确的
		size_t hash1 = HashFunc1()(key) % N;
		if (_bs.test(hash1) == false)
			return false;

		size_t hash2 = HashFunc2()(key) % N;
		if (_bs.test(hash2) == false)
			return false;

		size_t hash3 = HashFunc3()(key) % N;
		if (_bs.test(hash3) == false)
			return false;

		// 存在误判的
		return true;
	}

private:
	bitset<N> _bs;
};

布隆过滤器的优点

1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关
2. 哈希函数相互之间没有关系，方便硬件并行运算
3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势
4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势
5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算
    

布隆过滤器的缺点

1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再建立一个白名单，存储可能会误判的数据)
2. 不能获取元素本身
3. 一般情况下不能从布隆过滤器中删除元素
4. 如果采用计数方式删除，可能会存在计数回绕问题