海量数据的解决思路

1）给定100亿个整数，设计算法找到只出现一次的整数
解题思路：
使用hash将所有整数映射到1000个文件中，在每个文件中使用位图，用两个bit表示出现次数，00表示没出现过，01表示出现过1次，10表示出现过多次，11舍弃，最后归并每个文件中出现只有1次的数即为所求。
2）给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集
解题思路：
（1G=2^30B=1073741824字节=1 000 000 000=10亿
1M=2^20B=1048578字节=105万字节）
100亿的整数=4*100亿个字节
400亿B放在1000个文件，每个文件4000万字节；
4000万的字节放在1G的空间完全够。
步骤：
（1）把第一个文件的这100亿的数用hash映射到1000个文件里，每个文件就是400M，内存可以放下，分别编号a0,a1,a2…..;同样另一个文件也是分到1000个文件，编号b0,b1……..,然后依次用位图统计，不计个数，有的话该比特位位为1，（不管出现的次数）
（2）因为相同的hash函数，所有相同的都落到相应的文件，然后分别用a1,b1的两个位图相&，那个比特位为1，就是交集，a2b2,a3b3……..同一方法。

3）1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数
解题思路：
(1)先用hash分到多个文件。相同的会落地一个文件。
(2)然后用位图的变形，用两个比特位表示一个数，如果该位图的数的两个比特位为00表出现0次，01表出现一次，10表出现两次，11，表是出现次数两个以上了。
只要不是 11 和 00 数就是出现不超过两次的数。