【C++从0到1】第二十篇：哈希（下）

---

一、哈希的应用

1.1 位图

1.1.1 位图概念

给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】

1. 遍历，时间复杂度O(N)
2. 排序(O(NlogN))，利用二分查找: logN
3. 位图解决
   数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。比如：
   

位图概念
所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。

1.1.2 位图的实现

#include <iostream>
#include <vector>
using namespace std;

namespace ns_bs
{
	template<size_t N>
	class bitset
	{
	public:
		bitset()
		{
			size_t n = N / 8 + 1;
			_bits.resize(n, 0);
		}

		void set(size_t x)
		{
			int i = x / 8;//在哪个字节
			int j = x % 8;//在哪一位
			_bits[i] |= 1 << j;//将对应为位设置位1
		}

		void reset(size_t x)
		{
			int i = x / 8;
			int j = x % 8;
			_bits[i] &= ~(1 << j);//设置对应比特位为0
		}

		bool test(size_t x)
		{
			int i = x / 8;
			int j = x % 8;
			return _bits[i] & (1 << j);
		}

	private:
		vector<char> _bits;
	};
}

1.1.3 位图的应用

1. 快速查找某个数据是否在一个集合中
2. 排序
3. 求两个集合的交集、并集等
4. 操作系统中磁盘块标记

1.2 布隆过滤器

1.2.1 布隆过滤器提出

我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？

1. 用哈希表存储用户记录，缺点：浪费空间
2. 用位图存储用户记录，缺点：不能处理哈希冲突
3. 将哈希与位图结合，即布隆过滤器

1.2.2布隆过滤器概念

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

1.2.3 布隆过滤器的插入

向布隆过滤器中插入baidu

1.2.4 布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判

比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的

1.2.5 布隆过滤器删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素
比如：删除上图中"tencent"元素，如果直接将该元素所对应的二进制比特位置0，“baidu”元素也被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。
缺陷：

1. 无法确认元素是否真正在布隆过滤器中
2. 存在计数回绕

1.2.6 布隆过滤器的实现

#pragma once
#include <string>
#include <iostream>
#include <bitset>
using namespace std;

struct BKDRHash
{
	size_t operator()(const string& s)
	{
		// BKDR
		size_t value = 0;
		for (auto ch : s)
		{
			value *= 31;
			value += ch;
		}
		return value;
	}
};

struct APHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ s[i] ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ s[i] ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

struct DJBHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash += (hash << 5) + ch;
		}
		return hash;
	}
};

namespace ns_bf
{
	template<size_t N,
	size_t X = 4,
	class K = string,
	class HashFunc1 = BKDRHash,
	class HashFunc2 = APHash,
	class HashFunc3 = DJBHash>
	class BloomFilter
	{
	public:
		void Set(const K& key)
		{
			size_t len = X * N;
			size_t index1 = BKDRHash()(key) % len;
			size_t index2 = APHash()(key) % len;
			size_t index3 = DJBHash()(key) % len;

			/*cout << index1 << endl;
			cout << index2 << endl;
			cout << index3 << endl << endl;*/
			_bs.set(index1);
			_bs.set(index2);
			_bs.set(index3);
		}

		bool Test(const K& key)
		{
			size_t len = X * N;
			size_t index1 = BKDRHash()(key) % len;
			size_t index2 = APHash()(key) % len;
			size_t index3 = DJBHash()(key) % len;

			if (_bs.test(index1) == false)
			{
				return false;
			}
			if (_bs.test(index2) == false)
			{
				return false;
			}
			if (_bs.test(index3) == false)
			{
				return false;
			}
			return true;//存在误判
		}
		//布隆过滤器不支持删除，会影响其它值，删除可以使用引用计数，多开几个位图
		//void reset(const K& key);
	private:
		bitset<N*X> _bs;//实际存储的个数
	};
}

1.2.7 布隆过滤器优缺点

优点：

1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关
2. 哈希函数相互之间没有关系，方便硬件并行运算
3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势
4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势
5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

缺点：
6. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再建立一个白
名单，存储可能会误判的数据)
7. 不能获取元素本身
8. 一般情况下不能从布隆过滤器中删除元素
9. 如果采用计数方式删除，可能会存在计数回绕问题

二、海量数据面试题

2.1 哈希切割

给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？ 与上题条件相同，如何找到top K的IP？如何直接用Linux系统命令实现？

2.2 位图应用

1. 给定100亿个整数，设计算法找到只出现一次的整数？
   

namespace ns_tbs
{
	template<size_t N>
	class TwoBitSet
	{
	public:
		void set(size_t x)
		{
			//出现0次
			if (!_bits1.test(x) && !_bits2.test(x))
			{
				_bits2.set(x);
			}
			//出现1次
			else if (!_bits1.test(x) && _bits2.test(x))
			{
				_bits1.set(x);
				_bits2.reset(x);
			}
			//出现两次及以上，不用处理
		}

		void PrintOnceNumber()
		{
			for (size_t i = 0; i < N; ++i)
			{
				if (!_bits1.test(i) && _bits2.test(i))
				{
					cout << i << endl;
				}
			}
		}

	private:
		ns_bs::bitset<N> _bits1;
		ns_bs::bitset<N> _bits2;
	};

	void testTwoBitSet()
	{
		int arr[] = { 10, 32, 32, 19, 10, 19, 0, 1, 3, 5, 4, 4 };
		ns_tbs::TwoBitSet<100> tbs;
		for (auto e : arr)
		{
			tbs.set(e);
		}

		tbs.PrintOnceNumber();
	}
}

2. 给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？
3. 位图应用变形：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数

2.3 布隆过滤器

1. 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法
   

2. 如何扩展BloomFilter使得它支持删除元素的操作
   可以多用几张位图，采取引用计数的方式来控制