2024年C C++最新位图和布隆过滤器，2024年最新面试必备

最新推荐文章于 2024-11-11 22:14:43 发布

2401_84976491

最新推荐文章于 2024-11-11 22:14:43 发布

阅读量232

点赞数 4

分类专栏：程序员文章标签： c语言 c++ 学习

本文链接：https://blog.csdn.net/2401_84976491/article/details/138783503

版权

程序员专栏收录该内容

53 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

代码实现

#include<vector>
#include<iostream>
using namespace std;
namespace zyb
{
	template<size_t N>
	class bitset
	{
	public:
		bitset()
		{
			_bs.resize(N / 32 + 1);
		}
		void set(const size_t& x)
		{
			size_t i = x / 32; // 第几个 int
			size_t j = x % 32; // 这个 int 的第几个比特位
			_bs[i] |= (1 << j); // 将这个 int 的第 j 个比特位变为 1
		}
		void reset(const size_t& x)
		{
			size_t i = x / 32; // 第几个 int
			size_t j = x % 32; // 这个 int 的第几个比特位
			_bs[i] &= ~(1 << j); // 将这个 int 的第 j 个比特位变为 0
		}
		bool test(const size_t& x)
		{
			size_t i = x / 32; // 第几个 int
			size_t j = x % 32; // 这个 int 的第几个比特位
			if ((_bs[i] & (1 << j)) != 0) return true;
			return false;
		}
	private:
		vector<int> _bs;
	};
}

布隆过滤器

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

非整形的数据转化为整形，无论利用何种方式，都有可能会发生冲突的情况，发生冲突，在检测时就有可能会发生错误，这时候为了减小这种冲突带来的错误，就需要使用布隆过滤器。

布隆过滤器适用于非整形的数据，用多个哈希函数计算出多个整形值，统统映射到位图中，这样相当于一个数据在位图中就对应多个位置。当检测一个数据是否存在时，利用这几个哈希函数计算出对应于位图中的比特位位置，只有查看这些比特位都为1时，才算是这个数据存在，只要有一个位置不符合，就不存在！

总结：

分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

注意**：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可
能存在，因为有些哈希函数存在一定的误判**。比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的。

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。比如：删除上图中"tencent"元素，如果直接将该元素所对应的二进制比特位置0，“baidu”元素也被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

有一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。但这个支持删除的方式也有缺陷，无法确认元素是否真正在布隆过滤器中，并且还存在计数回绕的情况。

布隆过滤器优缺点

优点

1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关
1. 哈希函数相互之间没有关系，方便硬件并行运算
1. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势
1. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势
1. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
1. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

缺点

1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再建立一个白名单，存储可能会误判的数据)
1. 不能获取元素本身
1. 一般情况下不能从布隆过滤器中删除元素
1. 如果采用计数方式删除，可能会存在计数回绕问题

布隆过滤器代码

它的实现是基于位图的。

struct BKDRHash
	{
		size_t operator()(const string& s)
		{
			// BKDR
			size_t value = 0;
			for (auto ch : s)
			{
				value *= 31;
				value += ch;
			}
			if(value > 0xffffffff) value %= 0xffffffff;
			return value;
		}
	};
	struct APHash
	{
		size_t operator()(const string& s)
		{
			size_t hash = 0;
			for (long i = 0; i < s.size(); i++)
			{
				if ((i & 1) == 0)
				{
					hash ^= ((hash << 7) ^ s[i] ^ (hash >> 3));
				}
				else
				{
					hash ^= (~((hash << 11) ^ s[i] ^ (hash >> 5)));
				}
			}
			if(hash > 0xffffffff) hash %= 0xffffffff;
			return hash;
		}
	};
	struct DJBHash
	{
		size_t operator()(const string& s)
		{
			size_t hash = 5381;
			for (auto ch : s)
			{
				hash += (hash << 5) + ch;
			}
			if (hash > 0xffffffff) hash %= 0xffffffff;
			return hash;
		}
	};
	template<
		size_t N,
		class K= string, 
		class Hash1 = BKDRHash,
		class Hash2 = APHash,
		class Hash3 = DJBHash>
	class bloomfilter
	{
	public:
		void set(const K& key)
		{
			size_t i = BKDRHash()(key);
			size_t j = APHash()(key);
			size_t k = DJBHash()(key);
			_biset.set(i);
			_biset.set(j);
			_biset.set(k);
		}
		bool test(const K& key)
		{
			size_t i = BKDRHash()(key);
			size_t j = APHash()(key);
			size_t k = DJBHash()(key);
			if (_biset.test(i) && _biset.test(j) && _biset.test(k)) return true;
			else return false;
		}
	private:
		bitset<N> _biset;
	};