数据结构——哈希的应用之位图，布隆过滤器与哈希切割

前言

本篇博客主要讲述的是应用哈希的一些数据结构_位图和布隆过滤器，讲解了这两个数据结构的性质和意义所在，还有一个使用哈希的数据处理方法——哈希切割，最后给出了一些具体的使用场景。

1. 位图

1.1 位图的概念

其的作用更多的是在于对整型能够快速判断是否存在于海量数据中的场景，简单来说，所谓位图，就是用每一个比特位来存放某种状态，适用于海量数据，数据无重复的场景，，通常是用来判断某个数据是否存在的。

1. 2 模拟实现stl位图

在C++中，我们可以用vector来模拟实现位图，每个int有32个比特位，在操作时，我们可以先用/来找到当前数字在第几个int,然后用%找到其在该int的第几个位，同时，可以采用非类型模板参数来指定位图的大小。

模拟代码如下：

template<size_t N>
class bitset
{
public:
	bitset()
	{
		//一个int可以存32个比特位，向上取等即可
		size_t num = N / 32 + 1;
		_set.resize(num);
	}
	//将某一个数设置成1
	void set(size_t n)
	{
		//先算出来在哪个数组，然后再算出来在哪一位
		size_t i = n / 32;
		size_t j = n % 32;
		//底层的第j位可能跟大小端有关系，但是上层不需要关心
		_set[i] |= (1 << j);
		
	}
	//将某一位数取消啊设置
	void reset(size_t n)
	{
		size_t i = n / 32, j = n % 32;
		_set[i] &= (~(1 << j));
	}

	bool text(size_t n)
	{
		size_t i = n / 32, j = n % 32;
		return (_set[i] >> j) & 1;
	}
private:
	vector<int> _set;
};

位图的应用

1. 快速查找某个数据是否在集合中
2. 排序 + 去重
3. 求两个集合的交集，并集等
4. 操作系统中磁盘快标记

具体实例：
5. 给定100亿个整数，设计算法找出只出现一次的整数？

首先分析题目，100亿个整数，如果直接全部放入内存之中，那么空间肯定是不够的，我们可以采用位图的思想，并且稍加修改，使用两个位图，如果一个整数只出现了一次，在第一个位图的位置标记成1，如果出现了不止一次，就将第二个位图对应位置标记成1，同时将第一个位图的位置标记成0，最后遍历完成之后，我们只需要找位图1中是标记是1的数字即可。

2.布隆过滤器

2.1 布隆过滤器的概念

布隆过滤器是布隆在1970年提出的一种紧凑型的，比较巧妙的概率型数据结构，特点是能够高效的插入和查询，可以告诉你某样东西一定不存在或者可能存在，其本质如下：

用多个哈希函数，将一个数据映射到位图结构中，这种方式不仅可以提升查询效率，也可以节省大量的内存空间。

考虑为什么不能直接用一个哈希然后映射到位图？
这是由于哈希冲突的原因，例如对于字符串的哈希，我们知道两个不同的字符串通过哈希函数哈希之后的出来的值是有可能会冲突的，这就导致了有可能会导致误判的情况，这种情况虽然不能避免，但是可以尽可能的减小其发生的概率！

那就是布隆提出来的方法，利用多个哈希函数进行哈希将一个值映射到不同的位置，这样就算有一些值发生了冲突，但只要还有一个值没有被标记，那么这一数据就 肯定没有出现过！

布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特 位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为 零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

布隆过滤器的删除问题

试想一下，布隆过滤器能进行删除操作吗？
答案是不能！这是由于可能有哈希冲突的存在，所以删除某些数据之后可能同时会把其他数据哈希的比特位也置为0， 就会导致本来存在的数据变成了不存在。

有一种支持删除的方法如下：
将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计 数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储 空间的代价来增加删除操作。
但是这种计数方法也会引出一些问题：

1. 消耗空间加大很多
2. 存在计数回绕问题(用于计数的数据类型一般是无符号类型，不存在负数，所以会从0变到最大值)

布隆过滤器优点

1. 增加和查询元素的时间复杂度： O(K)（K为哈希函数个数），与数据量无关
2. 哈希函数之间没有关系，方便硬件并行运算
3. 布隆过滤器不需要存储元素本身，对某些保密要求比较严格的场合有很大优势 你
4. 在能够承受一定程度的误判时，布隆过滤器比其他数据结构有很大的空间优势
5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
6. 使用同一组哈希函数的布隆过滤器可以进行交，并，差运算

布隆过滤器缺陷

1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再 建立一个白名单，存储可能会误判的数据）
2. 不能获取元素本身
3. 一般情况下不能从布隆过滤器中删除元素
4. 如果采用计数方式删除，存在计数回绕问题

哈希切割

看下面例子，给一个超过100G大小的log file，log中存有ip地址，如何找到出现次数最多的IP地址？

首先，由于文件有100个G， 不可能直接放入一台电脑比较，那么肯定要分成多个文件，但是如果时普通的平均分，那么我们要找出现最多的ip那时间复杂度将会时$O(n^2)$,效率极低。
因此，我们需要使用哈希切割的方法，对用同一个哈希函数散列后相同的log放进同一个文件中，这样就能够保证相同的IP一定会出现在同一个文件，然后再用C++的unordered_map统计次数即可！