位图与布隆过滤器

 

目录

一、位图

1、问题用位图来解决：

二、 布隆过滤器

       1、将哈希与位图结合，即布隆过滤器

2.布隆过滤器的查找

3.布隆过滤器的删除

4.布隆过滤器优点

5、布隆过滤器缺陷 

三、海量数据处理问题：

---

一、位图

        问题1：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在 这40亿个数中。

•         遍历一遍，时间复杂度O(n)
•         排序，然后二分查找，时间复杂度O(n*log2n)
•         使用位图，使用一个bit来存储对象存在或不存在的信息。

例如：

        位图的概念:用一个bit位的数据存放某种状态信息，应用于：海量数据且无重复的场景，通常用来判断一个数据是否存在。

1、问题用位图来解决：

        首先：40亿个数据，用hash、遍历或者排序的方法，内存开销会16GB，但是使用位图，开销只有0.5GB。

        位图结构：无符号整数的范围是：0~2^32-1，所有无符号整数的范围（种类）为42亿9千万（2^32）左右，我们使用位图，位图的每一位对应与一个无符号整数的种类，一共需要2^32bit=0.5GB。位图结构：使用vector<int>构造

 对40亿个数据遍历一边，将位图中的映射位置为1.然后x找到映射位，为0或者1，来判断数据是否存在。

问题解决算法代码：

bool find(vector<int> arr, size_t x) {
	bitset<(size_t)-1> set1;
	for (int& val : arr) {
		set1.set(val);
	}
	
	return set1.test(x);
}

 位图结构代码：

核心解析：

size_t i = x / 32;

找到x在位图中位于第几个int中， 

size_t j = x % 32;

 确定x在确定的int类型中32位的那个bit位映射  

_a[i] |= (1<<j);

利用按位或，0与任意或等于任意，1与任意或等于1。将j位改为1.

class bitset
{

public:
	bitset() {
		:_bit.resize((N >> 5) + 1);//>>5,相当于÷32，如果存在余数，需要＋1
		_bitCount(N)
	}

	void set(size_t x) {
		size_t i = x / 32;//x的映射bit位于位图中的第i个int中，
		size_t j = x % 32;//x的映射bit位于第i个int中的第j个位
		
		_a[i] |= (1<<j);//按位与，仅在j位有1，其余位为0，仅改变j位
	}

	void reset(size_t x) {
		size_t i = x / 32;
		size_t j = x % 32;
		_a[i] & = (~(1 << j));
	}

	bool test(size_t x){
		size_t i = x / 32;
		size_t j = x % 32;
		return _a[i] & (1 << j);
	}

private:
	vector<int> _bit;
	size_t _bitCount;
};

 补充：1位只能存储2种状态，2位可存储4种状态。我们可以使用两位来标记一个整形的状态，但是通常使用两个位图来时实现更加方便。

位图的应用：

1. 快速查找某个数据是否在一个集合中

2. 排序 + 去重

3. 求两个集合的交集、并集等

4. 操作系统中磁盘块标记

二、 布隆过滤器

        我们浏览新闻时，app推送的新闻不会是你曾经看过的，它每次推荐时要去重，去掉那些已经看过的内容。使用hash浪费内存空间，使用位图只能处理整数。

       1、将哈希与位图结合，即布隆过滤器

        布隆过滤器一种紧凑型的、比较巧妙的概 率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

        结构和原理如下

2.布隆过滤器的查找

         布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。

所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。

注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可 能存在，因为有些哈希函数存在一定的误判。

比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其 他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的。

3.布隆过滤器的删除

 布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。 比如：删除上图中"tencent"元素，如果直接将该元素所对应的二进制比特位置0，“baidu”元素也 被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计 数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储 空间的代价来增加删除操作。

缺陷： 1. 无法确认元素是否真正在布隆过滤器中

2. 存在计数回绕：溢出所有位的最大值，然后判断为错误值

4.布隆过滤器优点

• 1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关
•  2. 哈希函数相互之间没有关系，方便硬件并行运算
• 3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势
• 4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势
• 5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
• 6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

5、布隆过滤器缺陷 

•  1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再 建立一个白名单，存储可能会误判的数据)
• 2. 不能获取元素本身
• 3. 一般情况下不能从布隆过滤器中删除元素
• 4. 如果采用计数方式删除，可能会存在计数回绕问题

三、海量数据处理问题：

1、 哈希切割 给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？

 与上题条件相同，如何找到top K的IP？

如何直接用Linux系统命令实现？

答案：第一步：我们首先使用hash切割，将100g个文件切割成200个小文件，平均每个小文件0.5g，相同ip地址的log会分配到同一个小文件下。

第二步:依次对每个小文件遍历，将log文件的IP地址放进hash表中，hash表中存储log的ip地址和个数，用max记录次数最多的那个数。遍历所有小文件后，返回max，即是最多的ip地址个数。

注意事项：如果在hash分割大文件的时候，有的小文件若比较大，①放进map中发生大量冲突，则可以对小文件换一个新的hash函数再次细分。②放进map中大量相同，则可以读入map。

 1. 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出 精确算法和近似算法

答案：100亿=10^10=10G左右，假设query为10byte，所以大文件为100GB，命名为A和B

        第一步，同上，对两个文件各自进行hash分割为200个小文件，分别为A1~A200，以及B~B200，A1和B1采样相同的hash函数，那么两个大文件的同一个query，必然在哈希函数相同小文件中。

        第二步：将对应的小文件（A1和B1），即hash分割时hash函数相同的小文件，一起放进set中，过滤掉重复和不相同的元素，每次处理完将set中的元素存入对应的文件，依次对A2,B2~A200,B200进行相同处理。

注意：若set中存在大量冲突，可以抛异常，将文件再次细分。

 3. 如何扩展BloomFilter使得它支持删除元素的操作

        采用多个位来记录一个hash函数的映射，这里的多个位可以是多个位图（建议），也可以是一个位图采用多个位。我们每次加入一个元素后，多个hash函数对应的各自的多个位都+1，每次删除一个元素后，同理减一。

注意事项：当hash函数对应的多个位，加1的次数多于位数所能表达的最大值，就会出现回绕问题（类似于数据单位溢出）