大数据和空间限制

布隆过滤器

题目：

不安全网页的黑名单包含100亿个黑名单网页，每个网页的URL最多占用64B。现在想要实现一种网页过滤系统，可以根据网页的URL判断网页是否再黑名单上，请设计该系统。

要求：

• 该系统允许有万分之一以下的判断失误率
• 使用的额外空间不要超过30GB

解答：

如果把黑名单中所有的URL通过数据库或哈希表保存下来，就可以对每条URL进行查询，但是每个URL有64B，数量是100亿个，所以至少需要640GB的空间，不满足要求。

如果面试者遇到网页黑名单系统，垃圾邮件过滤系统，爬虫的网页判重系统等题目，又看到系统容忍一定程度的失误率，但是对空间要求比较严格，那么很可能面试官希望面试者具备布隆过滤器的知识。

一个布隆过滤器精确的代表一个集合，并可以精确判断一个元素是否在集合中。注意，只是精确代表和精确判断，到底有多精确呢？则完全在于你具体的设计，但想做到完全正确是不可能的。布隆过滤器的优势在于使用很少的空间就可以将准确率做到很高的程度。

布隆过滤器

假设有一个长度为m的bit类型的数组 ，即数组中的每一个位置只占一个bit，如我们所指，每个bit只有0和1两种状态，

再假设一共有k个哈希函数 ，这些函数的输出域S都大于或等于m，并且这些哈希函数都足够优秀，彼此之间也完全独立，那么对同一个输入对象（假设是一个字符串记为URL），经过k个哈希函数算出来的结果也是独立的，可能相同，也可能不同，但彼此独立。对算出来的每一个结果都对m取余（%m），然后在bit array上把相应的位置设置为1（涂黑），如图所示

我们把bit类型的数组记为bitMap。至此，一个输入对象对bitMap的影响过程就结束了，也就是BitMap中的一些位置会被涂黑。接下来按照该方法处理所有的输入对象，每个对象都可能把bitMap中的一些白位置涂黑，也可能遇到已经涂黑的位置，遇到已经涂黑的位置让其继续为黑即可。处理完所有的输入对象后，可能BitMap中已经有相当多的位置被涂黑。至此，一个布隆过滤器生成完毕，这个布隆过滤器代表之前所有输入对象组成的集合 。

在检查阶段时，如何检查某一个对象是否是之前的某一个输入对象呢？假设一个对象为a，想检查它是否是之前的输入对象，就把a通过k个哈希函数算出k个值，然后把k个值取余（%m），就得到在[0,m-1]范围上的k个值。接下来在BitMap上看这些位置是不是都为黑。如果有一个不为黑，说明a一定不在这个集合里。如果都为黑，说明a在这个集合里，但可能有误判。

再解释具体一点，如果a的确是输入对象，那么在生成布隆过滤器时，bitMap中相应的k个位置一定已经是涂黑了，所以在检查阶段，a一定不会被漏过，这个不会产生误判。会产生误判的是，a明明不是输入对象，但如果在生成布隆过滤器的阶段因为输入对象过多，而bitMap过小，则会导致bitMap绝大多数的位置都已经变黑。那么在检查a时，可能a对应的k个位置都是黑的，从而错误的认为a是输入对象。

黑名单中样本的个数为100亿个，记为n；失误率不能超过0.01%，记为p ；每个样本的大小为64B，这个信息不会影响布隆过滤器的大小，只和选择哈希函数有关，一般的哈希函数都可以接受64B的输入对象，所以使用布隆过滤器还有一个好处就是不用顾忌单个样本的大小，它丝毫不能影响布隆过滤器的大小。

布隆过滤器的大小m由以下公式确定：
$$m=-\frac{n\times lnp}{(ln2{)}^2}$$
哈希函数数量k的公式：
$$k=0.7\times \frac{m}{n}$$
布隆过滤器会有误报，对已经发现的误报样本可以通过建立白名单来防止误报 。比如，已经发现“aaaaaa5”这个样本不在布隆过滤器中，但是每次计算后的结果都显示其在布隆过滤器中，那么就可以把这个样本加入到白名单中，以后就可以知道这个样本确实不在布隆过滤器中。

只用2GB内存在20亿个整数中找到次数最多的数

题目：

有一个包含20亿个全是32位整数的大文件，在其中找到出现次数最多的数

要求：

内存限制为2GB

解答：

想要在很多整数中找到出现次数最多的数，通常的做法是使用哈希表对出现的每一个数做词频统计，哈希表的Key是某一个整数，value是这个数出现的次数。就本题来说，一共有20亿个数，哪怕只是一个数出现了20亿次，用32位数的整数也可以表示其出现的次数而不会产生溢出，所以哈希表的key需要占用4B，value也是4B。那么哈希表的一条记录需要占用8B，当哈希表记录数为2亿个时，需要至少1.6GB的内存。

但如果20亿个数中不同的数超过2亿种，最极端的情况是20亿个数都不同，那么在哈希表中可能需要产生20亿条记录，这样内存会不够用，所以一次性用哈希表统计20亿个数的方法是有很大风险的。

解决方法是把包含20亿个数的大文件用哈希函数分成16个小文件，根据哈希函数的性质，同一种数不可能被哈希到不同的小文件中，同时每个小文件中不同的数一定不会大于2亿种，假设哈希函数足够好。然后对每一个小文件用哈希表来统计其中每种数出现的次数，这样我们就得到了16个小文件中各自出现次数最多的数，还有各自的次数统计。接下来只要选出这16个小文件各自的第一名中谁出现的次数最多即可。

把一个大的集合通过哈希函数分配到多台机器中，或者分配到多个文件中，这种技巧是处理大数据面试题常用的技巧之一。但是到底分配多少台机器，分配到多少文件，在解题时一定要确定下来。

40亿个非负整数中找到没出现的数

题目：

32位无符号整数的范围是 0~4294967295，现在有一个正好包含40亿个无符号整数的文件，所以在整个范围中必然有没有出现过的数。可以使用最多1GB的内存，怎么找到所有没出现过的数。

进阶：内存限制为10MB，但是只用找到一个没出现过的数即可。

解答：

原问题。 如果用哈希表来保存出现过的数，那么如果40亿个数都不同，则哈希表的记录数为40亿条，存一个32位整数需要4B，所以最差情况下需要40亿x4B=160亿字节，大约需要16GB的空间，这是不符合要求的。

哈希表需要占用很多空间，我们可以使用bit map的方式来表示数出现的情况。具体地说，是申请一个长度为4294967295的bit类型的数组bitArr，bitArr上的每个位置只可以表示0或1状态。8个bit为1B，所以长度为4294967295的bit类型的数组占用500MB空间。

怎么使用这个bitArr数组呢？就是遍历这40亿个无符号数，例如，遇到7000，就把bitArr[7000]设置为1。遇到所有的数时，就把bitArr相应的位置设置为1。

遍历完成后，再依次遍历bitArr，哪个位置上的值没被设置1，哪个数就不在40亿个数中。例如，发现bitArr[8001]==0，那么8001就是没出现过的数，遍历完bitArr之后，所有没出现的数就都找出来了。

进阶问题。 现在只有10MB的内存，但也只要求找到一种一个没出现过的数即可。首先，0~ 4294967295这个范围是可以平均分成64个区间的，每个区间是67108864个数，例如第0区间（0 ~ 67108863），第一区间（67108864~134217728），第i区间（67108864*i ~ 67108864*(i+1)-1）…。因为一共只有40亿个数，所以，如果统计落在每一个区间上的数有多少，肯定有至少一个区间上的计数少于67108864。如果这一点可以找出其中一个没出现过的数。

具体过程：

第一次遍历时，先申请长度为64的整型数组countArr[0…63]，countArr[i]用来统计区间i上的数有多少。遍历40亿个数，根据当前数是多少来决定哪一个区间上的计数增加。例如，如果当前数是3422552090，3422552090/67108864=51，所以第51区间上的计数增加countArr[51]++。遍历完40亿个数之后，遍历countArr，必然会有某一个位置上的值countArr[i]小于67108864，表示第i个区间上至少有一个数没出现过。我们肯定会找到这样的区间。此时使用的内存就是countArr的大小64*4B。

假设我们找到第37区间上的计数小于67108864，以下为第二次遍历的过程。

• 申请长度为67108864的bit map，这占用大约8MB的空间，记为bitArr[0…67108863];
• 再遍历一次40亿个数，此时的遍历只关注落在第37区间上的数。记为num(num/67108864 == 37)，其他区间的数全部忽略；
• 如果步骤2的num在第37区间上，将bitArr[num-67108864*37]的值为1，也就是只做第37区间上的数的bitArr映射；
• 遍历完40亿个数之后，在bitArr上必然存在没被设置成1的位置，假设第i个位置上的值没被设置成1，那么67108864*37+i这个数就是一个没出现过的数；

总结一下进阶的解法：

• 根据10MB的内存限制，确定统计区间的大小，就是第二次遍历时的bitArr大小。
• 利用区间计数的方式，找到那个计数不足的区间，这个区间上肯定有没有出现的数。
• 对这个区间上的数做bit map映射，再遍历BitMap，找到一个没出现的数即可。

找到100亿个URL中重复的URL以及搜索词汇的TOP K问题

题目：

有一个包含100亿个URL的大文件，假设每个URL占用64B，请找出其中所有重复的URL。

补充题目：

某搜索公司一天的用户搜索词汇是海量的（百亿数据量），请设计一种求出每天最热top100词汇的可行办法。

解答：

原问题的解法是解决大数据问题的一种常规方法：把大文件通过哈希函数分配到机器，或者通过哈希函数把大文件拆成小文件。一直进行这种划分，直到划分的结果满足资源限制的要求。首先，你要向面试官询问在资源上的限制有哪些，包括内存，计算时间等要求。在明确了限制要求之后，可以将每条URL通过哈希函数分配到若干机器或者拆分成若干小文件，这里的“若干”由具体的资源限制来计算出精确的数量。

例如，将100亿字节的大文件通过哈希分配到100台机器上，然后每一台机器分别统计分给自己的URL中是否有重复的URL，同时哈希函数的性质决定了同一条URL不可能分给不同的机器；或者在单机上将大文件通过哈希函数拆成1000个小文件，对每一个小文件再利用哈希表遍历，找出重复的URL；或者在分给机器或拆分完文件之后，进行排序，排序过后再看是否有重复的URL出现。总之，牢记一点，很多大数据问题都离不开分流，要么是哈希函数把大文件的内容分配给不同的机器，要么是哈希函数把大文件拆成小文件，然后处理每一个小数量的集合。

补充问题最开始还是用哈希分流的思路来处理，把包含百亿数据量的词汇文件分流到不同的机器上，具体多少台机器由面试官规定或者由更多的限制来决定。对每一台机器来说，如果分到的数据量依然很大，比如，内存不够或其他问题，可以再用哈希函数把每台机器的分流文件拆成更小的文件处理。处理每一个小文件的时候，哈希表统计每种词以及词频，哈希表记录建立完成后，再遍历哈希表，遍历哈希表的过程中使用大小为100的小顶堆来选出每一个小文件的top100（整体未排序的top100）。每一个小文件都有自己词频的小顶堆（整体未排序的top100）。然后把各个小文件排序后的top100进行外排序或者继续利用小顶堆，就可以选出每台机器上的top100。不同机器之间的top100再进行外排序或者继续利用小顶堆，最终求出整个百亿数据量中的top100。

对于topK问题，除哈希函数分流和用哈希表做词频统计之外，还经常用堆结构和外排序的手段进行处理。

40亿个非负整数中找到出现两次的数和所有数的中位数

题目：

32位无符号整数的范围是0~4294967295，现在有40亿个无符号整数，可以使用最多1GB的内存，找出所有出现了两次的数。

补充题目：

可以使用最多10MB的内存，怎么找到这40亿个整数的中位数。

解答：

对于原问题，可以用bit map的方式来表示数出现的情况。具体来说，是申请一个长度为4294967295*2的bit类型的数组bitArr，用2个位置表示一个数出现的词频，1B占用8个bit，所以长度为4294967295*2的bit类型数组占用1GB空间。怎么使用这个bitArr数组呢？遍历这40亿个无符号数，如果初次遇到num，就把bitArr[num*2+1]和bitArr[num*2]设置为01，如果第二次遇到num，就把bitArr[num*2+1]和bitArr[num*2]设置为10，如果第三次遇到Num,就把bitArr[num*2+1]和bitArr[num*2]设置为11。以后再遇到num，发现此时bitArr[num*2+1]和bitArr[num*2]设置为11，就不再做任何设置。遍历完成后，再依次遍历bitArr，如果发现bitArr[i*2+1]和bitArr[i*2]设置为10，那么i就是出现了两次的数。

对于补充问题，用分区间的方式处理，长度为2MB的无符号整型数组占用的空间为8MB，所以将区间的数量定为4294967295/2M，向上取整为2148区间。第0区间为0 ~ 2M-1，第1区间为2M~4M-1，第i区间2M* i ~ 2M*(i+1)-1。

申请一个长度为2148的无符号整型数组arr[0…2147]，arr[i]表示第i区间有多少个数。arr必然小于10MB。然后遍历40亿个数，如果遍历到当前数为num，先看num落在哪个区间上（num/2M）,然后进行arr[num/2M]++操作。这样遍历下来，就得到了每一个区间的数的出现状况，通过累加每个区间的出现次数，就可以找到40亿个数的中位数（也就是第20亿个数）到底落在哪个区间上。比如，0~K-1区间上的数的个数为19.998亿，但是发现当加上第K个区间上的数的个数之后就超过了20亿，那么可以知道第20亿个数是第K区间上的数。并且可以知道第20亿个数是第K区间上的第0.002亿个数。

接下来申请一个长度为2MB的无符号整型数组countArr[0…2M-1]，占用空间8MB。然后在遍历40亿个数，此时只关心处在第K区间的数记为numi，其他区间的数忽略。然后将countArr[numi-K*2M]++，也就是只对第K区间的数做频率统计。这次遍历完40亿个数之后，就得到了第K区间的词频统计结果countArr，最后只在第K区间上找到第0.002亿个数即可。

一致性哈希算法的基本原理

题目：

工程师常使用服务器集群来设计和实现数据缓存，以下是常见的策略：

• 无论是添加，查询还是删除数据，都先将数据的id通过哈希函数转换成一个哈希值，记为key。
• 如果目前机器有N台，则计算key%N的值，这个值就是该数据所属的机器编号，无论是添加，删除还是查询操作，都只在这台机器上进行。

请分析这种缓存策略可能带来的问题，并提出改进的方案。

解答：

题目中描述的缓存策略的潜在问题是如果增加或删除机器时（N变化）代价会很高。所有的数据都不得不根据id重新计算一遍哈希值，并将哈希值对新的机器数进行取模操作，然后进行大规模的数据迁移。

为了解决这些问题，下面介绍一下一致性哈希算法，这是一种很好的数据缓存设计方案 。我们假设数据的id通过哈希函数转换成的哈希值范围是
$$2^{32}$$
也就是

$$[0,(2^{32}-1)]$$
的数字空间中。现在我们可以将这些数字头尾相连，想象成一个闭合的环形，那么一个数据id在计算出哈希值之后认为对应到环中的一个位置上，如图所示

接下来想象有三台机器也处在这样的一个环中，这三台机器在环中的位置根据机器id计算出的哈希值来决定，那么一条数据如何确定归属哪台机器呢？首先把该数据的id用哈希函数算出哈希值，并映射到环中的相应位置，然后顺时针寻找离这个位置最近的机器，那台机器就是该数据的归属。如图所示

在图6-4中，data1根据其id计算出的哈希值为key1,顺时针的第一台机器是machine2，所以data1归 machine2；同理，data2归属machine3，data3和data4都归属machine1。

增加机器时的处理 。假设有两台机器（m1, m2）和三个数据（data1,data2,data3），数据和机器在环中的结构如图6-5所示。

如果此时想加入新的机器m3，同时算出机器m3的id在m1和m2右半侧的环中，那么发生的变化如图6-6所示。

在没有添加m3之前，从m1到现在m3位置上的这一段是m2掌管范围的一部分，添加m3之后则统一归属于m3，同时要把这一段旧数据从m2迁移到m3上。由此可见，添加机器时的调整代价是比较小的。在删除机器时也是一样的，只要把要删除机器的数据全部复制到顺时针找到的下一台机器上即可。比如，要在图6-6中删除机器m2，m2上有数据data2，那么只用把data2迁移到m1上即可。

机器负载不均时的处理。如果机器较少，很有可能造成机器在整个环上的分布不均匀，从而导致机器之间的负载不均衡，比如，图6-7所示的两台机器，m1可能比m2面临更大的负载。

为了解决这种数据倾斜问题，一致性哈希算法引入了虚拟节点机制，即对每一台机器通过不同的哈希函数计算出多个哈希值，对多个位置都防止一个服务节点，称为虚拟节点。

具体做法可以在机器ip或主机名后面增加编号或端口号来实现。以图6-7情况，可以为每台机器计算两个虚拟节点，分别计算m1-1,m1-2,m2-1,m2-2的哈希值，于是形成4个虚拟节点，节点数变多了，根据哈希函数的性质，平衡性自然会变好。