C++进阶--位图和布隆过滤器

位图和布隆过滤器是两种常用的数据结构，它们在计算机科学领域有着广泛的应用。本文将介绍这两种数据结构的基本原理和应用场景。

位图

前提

位图的概念

位图（Bitmap）是一种用于表示集合的数据结构，它将每个元素映射为一个位（bit），以表示其存在或不存在。在位图中，通常使用一个数组来存储位，其中数组的每个元素代表一个位。

位图的基本思想是，对于给定的集合，为每个元素定义一个唯一的编号或索引。根据这个编号，将位图中的相应位置设置为1或0，表示元素的存在与否。例如，如果一个集合有100个元素，可以用一个长度为100的位数组来表示这个集合，其中每个元素的位置代表相应元素的编号，位置上的位值表示该元素是否存在。如果位值为1，表示元素存在；如果位值为0，表示元素不存在。

由于位图使用的是位操作，可以节省大量的内存空间。相比传统的存储方式，位图所需的内存空间较小。这使得位图在许多领域都有广泛的应用，特别是当需要快速判断元素是否存在于集合中时。

位图的实现

template<size_t N>
	class bitset
	{
	public:
		bitset()
		{
			_bits.resize(N / 32 + 1, 0);
		}

		//把x的映射位标记为1
		void set(size_t x)
		{
			assert(x <= N);

			size_t i = x / 32;
			size_t j = x % 32;

			//通过或运算，将对应位变为1
			_bits[i] |= (1 << j);
		}

		//把x映射的标记为0
		void reset(size_t x)
		{
			assert(x <= N);

			size_t i = x / 32;
			size_t j = x % 32;

			//通过与运算，将对应位变为0，~将数倒置
			_bits[i] &= ~(1 << j);
		}

		//判断当前x映射的位置是否为1
		bool test(size_t x)
		{
			assert(x <= N);

			size_t i = x / 32;
			size_t j = x % 32;

			//如果存在，就会返回一个非0的数；
			return _bits[i] & (1 << j);
		}
	private:
		vector<int> _bits;
	};

测试：

void Test1()
	{
		bitset<150> bs1;
		bs1.set(50);
		bs1.set(101);
		bs1.set(89);

		for (size_t i=0; i < 150; i++)
		{
			if (bs1.test(i))
			{
				cout << i << "->" << "在" << "  ";
			}
			else
			{
				cout << i << "->" << "不在" << "  ";
			}
		}
		cout << endl;

		bs1.reset(89);
		if (bs1.test(89))
		{
			cout << 89<< "->" << "在" << endl;
		}
		else
		{
			cout << 89 << "->" << "不在" << endl;
		}
	}

位图的应用拓展

template<size_t N>
	class two_bit_set
	{
	public:
		void set(size_t x)
		{
			if (_bs1.test(x) == false && _bs2.test(x) == false)
			{//00->01
				_bs2.set(x);
			}
			else if (_bs1.test(x) == false && _bs2.test(x) == true)
			{
				//01->10
				_bs2.reset(x);
				_bs1.set(x);
			}
		}
		bool test(size_t x)
		{
			if (_bs1.test(x) == false
				&& _bs2.test(x) == true)
			{
				return true;
			}
			return false;

		}
		private:
		bitset<N> _bs1;
		bitset<N> _bs2;
	};

位图常用于数据压缩、数据库索引、图像处理等领域。在数据压缩中，位图可以将大量的数据压缩成较小的文件，这在网络传输和存储空间方面有着重要的作用。在数据库索引中，位图可以快速定位到包含某个元素的记录，提高检索效率。在图像处理中，位图可以对图像进行像素级别的操作，实现各种图像处理功能。

布隆过滤器

前提

对于位图来说，只能处理整数类型的元素，如果遇到字符串的话，如果只通过一个哈希函数来计算对应的哈希值，那么在位图中很大概率会存在相同的索引（哈希值），这样就导致了重复；所以，就有人提出了通过多个哈希函数对key值进行不同位置的映射，这样就能让重复的概率大大降低，当然没有办法百分百避免。

概念

布隆过滤器（Bloom Filter）是一个数据结构，用于快速判断一个元素是否属于某个集合中。它利用了一系列随机映射函数和一个二进制向量来实现。

具体而言，布隆过滤器由一个长度为m的二进制向量（bit数组）和k个不同的哈希函数组成。初始时，所有的位都被置为0。

当一个元素要被添加到布隆过滤器中时，会将该元素经过k个不同的哈希函数计算得到k个哈希值，并将对应的位置在二进制向量中置为1。

当需要判断一个元素是否在布隆过滤器中时，同样将该元素经过k个哈希函数计算得到k个哈希值，并检查对应的位置在二进制向量中是否都为1。如果有任何一个位置不为1，则可以确定该元素不在集合中。但如果所有位置都为1，那么该元素可能在集合中，但也可能是误判。

因此，布隆过滤器存在一定的误判率。当哈希函数的选取和位向量的大小合理时，误判率可以被控制在一个较低的范围内。

布隆过滤器的实现

struct HashFuncBKDR
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash *= 131;
			hash += ch;
		}
		return hash;
	}
};

struct HashFuncAP
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			if ((i & 1) == 0)//偶数位字符
			{
				hash ^= ((hash << 7) ^ (s[i]) ^ (hash >> 3));
			}
			else//奇数位字符
			{
				hash ^= (~((hash << 11) ^ (s[i]) ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

struct HashFuncDJB
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash = hash * 33 ^ ch;
		}

		return hash;

	}
};

template<size_t N,
	class K=string,
	class Hash1=HashFuncBKDR,
	class Hash2=HashFuncAP,
	class Hash3=HashFuncDJB>
class BloomFilter
{
public:
	void Set(const K& key)
	{
		//Hash2 hs2;
		size_t hash1 = Hash1()(key) % M;
		size_t hash2 = Hash2()(key) % M;
		size_t hash3 = Hash3()(key) % M;

		//cout << hash1 << " " << hash2 << " " << hash3 << endl;
		_bs.set(hash1);
		_bs.set(hash2);
		_bs.set(hash3);
	}

	bool Test(const K& key)
	{
		size_t hash1 = Hash1()(key) % M;
		if (_bs.test(hash1) == false)
			return false;
		size_t hash2 = Hash2()(key) % M;
		if (_bs.test(hash2) == false)
			return false;
		size_t hash3 = Hash3()(key) % M;
		if (_bs.test(hash3) == false)
			return false;

		return true;

	}
private:
	static const size_t M = 10 * N;
	fnc::bitset<M> _bs;
};

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。

性能测试

//性能测试
void TestBF2()
{
	srand(time(0));
	const size_t N = 100000;
	BloomFilter<N> bf;

	std::vector<std::string> v1;
	std::string url = "https://www.cnblogs.com/-clq/archive/2012/05/31/2528153.html";
	for (size_t i = 0; i < N; ++i)
	{
		v1.push_back(url + std::to_string(i));
	}

	for (auto& str : v1)
	{
		bf.Set(str);
	}

	// v2跟v1是相似字符串集（前缀一样），但是后缀不一样
	std::vector<std::string> v2;
	for (size_t i = 0; i < N; ++i)
	{
		std::string urlstr = url;
		urlstr += std::to_string(9999999 + i);
		v2.push_back(urlstr);
	}

	size_t n2 = 0;
	for (auto& str : v2)
	{
		if (bf.Test(str)) // 误判
		{
			++n2;
		}
	}
	cout << "相似字符串误判率:" << (double)n2 / (double)N << endl;

	// 不相似字符串集  前缀后缀都不一样
	std::vector<std::string> v3;
	for (size_t i = 0; i < N; ++i)
	{
		string url = "zhihu.com";
		url += std::to_string(i + rand());
		v3.push_back(url);
	}

	size_t n3 = 0;
	for (auto& str : v3)
	{
		if (bf.Test(str))
		{
			++n3;
		}
	}
	cout << "不相似字符串误判率:" << (double)n3 / (double)N << endl;
}