[C++] 海量数据专讲：抖音、快手每日几亿用户活跃数据如何处理？（位图 与 布隆过滤器）

---

小引

本篇所讲的位图与布隆过滤器，其实都是哈希表的具体应用~
这两个结构对于处理海量数据都有很好的功效！

区别：

• 位图：适合处理整型数据。
• 布隆：适合处理字符型等非整型数据。

---

位图

例如小视频服务器每天有海量的整型数据到达需要处理，使用位图就十分高效，不仅记录方便，存储更是十分轻量。

所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。

来看一个小问题：

给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中？

解法：

1. 遍历，时间复杂度O(N)，所以这种方法很低效。
2. 排序，时间复杂度O(N * logN)，如果利用二分查找: logN
3. 位图解决：
   数据是否在给定的整型数据中，结果是在或者不在，刚好是2种状态，那么可以使用一个二进制比
   特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。

实现一个位图类

class bitset{
public:
	//构造函数
	bitset(size_t bitCount)
		: _bit((bitCount>>5)+1)
		, _bitCount(bitCount)
	{}
	
	// 将which比特位置1
	void set(size_t which){
		if(which > _bitCount)
			return;
		size_t index = (which >> 5);
		size_t pos = which % 32;
		_bit[index] |= (1 << pos);
	}
	
	// 将which比特位置0
	void reset(size_t which){
		if(which > _bitCount)
			return;
		size_t index = (which >> 5);
		size_t pos = which % 32;
		_bit[index] &= ~(1<<pos);
	}
	
	// 检测位图中which是否为1
	bool test(size_t which){
		if(which > _bitCount)
			return false;
		size_t index = (which >> 5);
		size_t pos = which % 32;
		return _bit[index] & (1<<pos);
	}
	
	// 获取位图中比特位的总个数
	size_t size()const{ 
		return _bitCount;
	}
	
	// 位图中比特为1的个数
	size_t Count()const{
		int bitCnttable[256] = {
		0, 1, 1, 2, 1, 2, 2, 3, 1, 2, 2, 3, 2, 3, 3, 4, 1, 2, 2, 3, 2, 3, 3, 4, 2,
		3, 3, 4, 3, 4, 4, 5, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3, 4, 3, 4, 4, 5, 2, 3,
		3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3,
		4, 3, 4, 4, 5, 2, 3, 3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 2, 3, 3, 4,
		3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5,
		6, 6, 7, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3, 4, 3, 4, 4, 5, 2, 3, 3, 4, 3, 4,
		4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 2, 3, 3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5,
		6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 2, 3, 3, 4, 3, 4, 4, 5,
		3, 4, 4, 5, 4, 5, 5, 6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 3,
		4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 4, 5, 5, 6, 5, 6, 6, 7, 5, 6,
		6, 7, 6, 7, 7, 8
		};

		size_t size = _bit.size();
		size_t count = 0;
		for(size_t i = 0; i < size; ++i){
			int value = _bit[i];
			int j = 0;
			while(j < sizeof(_bit[0])){
				unsigned char c = value;
				count += bitCntTable[c];
				++j;
				value >>= 8;
			}
		}
		return count;
	}
private:
	vector<int> _bit;
	size_t _bitCount;
};

应用

1. 快速查找某个数据是否在一个集合中。
2. 排序。
3. 求两个集合的交集、并集等。
4. 操作系统中磁盘块标记。（报文头部标志位等）

---

布隆过滤器

当今最为人们乐道的无非就是后起之秀的小视频软件了。

我们在使用新闻或者小视频软件客户端时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。
问题来了，新闻客户端推荐系统如何实现推送去重的？

• 猜想：用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录？

其实不然！这样的方式虽然降低重复率，但是例如抖音、快手等软件拥有世界级的几亿数据，基于当今存储技术，在每日的海量数据面前，吉比特级的存储器也顶不住啊~

• 另求他法：

方法	分析
1. 用哈希表存储用户记录	缺点：浪费空间
2. 用位图存储用户记录	缺点：不能处理哈希冲突
3. 将哈希与位图结合	即布隆过滤器，取其精华，弃其糟粕。

概念

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。

它是用多个哈希函数，将一个数据映射到位图结构中。
此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

---

接下来我们来探究它的实现：

布隆过滤器的插入

// 假设布隆过滤器中元素类型为K，每个元素对应5个哈希函数
template<class K, 
	class KToInt1 = KeyToInt1,
	class KToInt2 = KeyToInt2,
	class KToInt3 = KeyToInt3,
	class KToInt4 = KeyToInt4,
	class KToInt5 = KeyToInt5
	>
class BloomFilter{
public:
	BloomFilter(size_t size) // 布隆过滤器中元素个数
		: _bmp(5*size), _size(0)
	{}
	bool Insert(const K& key){
		size_t bitCount = _bmp.Size();
		size_t index1 = KToInt1()(key)%bitCount;
		size_t index2 = KToInt2()(key)%bitCount;
		size_t index3 = KToInt3()(key)%bitCount;
		size_t index4 = KToInt4()(key)%bitCount;
		size_t index5 = KToInt5()(key)%bitCount;
		_bmp.Set(index1);
		_bmp.Set(index2);
		_bmp.Set(index3);
		_bmp.Set(index4);
		_bmp.Set(index5);
		
		_size++;
	}
private:
	bitset _bmp;
	size_t _size; // 实际元素的个数
}

---

布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，降低哈希冲突率，因此被映射到的位置的比特位一定为1。

所以可以按照以下方式进行查找：
分别计算每个哈希值对应的比特位置存储的是否为0，只要有一个为0，代表该元素一定不在哈希表中，否则可能在哈希表中。

bool IsInBloomFilter(const K& key){
	size_t bitCount = _bmp.Size();
	
	//所有的false：一定不在
	size_t index1 = KToInt1()(key)%bitCount;
	if(!_bmp.Test(index1))
		return false;
	
	size_t index2 = KToInt2()(key)%bitCount;
	if(!_bmp.Test(index2))
		return false;
	
	size_t index3 = KToInt3()(key)%bitCount;
	if(!_bmp.Test(index3))
		return false;
	
	size_t index4 = KToInt4()(key)%bitCount;
	if(!_bmp.Test(index4))
		return false;
	
	size_t index5 = KToInt5()(key)%bitCount;
	if(!_bmp.Test(index5))
		return false;
	
	return true; // 有可能在
}

【注】：

• 布隆过滤器如果说某个元素不存在时，该元素一定不存在。
• 如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。

比如：在布隆过滤器中查找"alibaba"时，假设5个哈希函数计算的哈希值为：1、3、7、5、6，刚好和其他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的。

---

布隆过滤器的删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。

比如：删除一个元素，如果直接将该元素所对应的二进制比特位置0，该位对于其他元素的映射也被删除/替换了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

• 一种支持删除的方法：
  将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址) 加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。

缺陷：

1. 无法确认元素是否真正在布隆过滤器中。
2. 存在计数回绕，产生额外开销，甚者影响结果。

---

【小结】：

优点

1. 增加和查询元素的时间复杂度为O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关。
2. 哈希函数相互之间没有关系，方便硬件并行运算。
3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势。
4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势。
5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能。
6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算。

缺陷

1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中。
   ( 补救方法：再建立一个白名单，存储可能会误判的数据 )
2. 不能获取元素本身，只能表示在不在。
3. 一般情况下不能从布隆过滤器中删除元素。
4. 如果采用计数方式删除，可能会存在计数回绕问题。

---

海量问题扩展

• 哈希切割
  给一个超过100G大小的log file，log中存着IP地址：

1. 设计算法找到出现次数最多的IP地址？
2. 如何找到top K的IP？
3. 如何直接用Linux系统命令实现？

• 位图应用

1. 给定100亿个整数，设计算法找到只出现一次的整数？
2. 给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？
3. 1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的整数

• 布隆过滤器

1. 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法
2. 如何扩展BloomFilter使得它支持删除元素的操作

• 倒排索引
  给上千个文件，每个文件大小为1K—100M。给n个词，设计算法对每个词找到所有包含它的文件，你只有100K内存

---

所以对这两个结构有所了解之后，读者就大致有了四两拨千斤的思想。

不要惧怕“海量”二字，当今信息时代，大数据分析给人们带来便利的同时，相应的处理也要更加巧妙与灵活。让科技，为人所用。