一、 海量数据,出现次数最多or前K
1、给A,B两个文件,各存放50亿条URL,每条URL占用64个字节,内存限制为4G,找出A,B中相同的URL。
【分析】我们先来看如果要把这些URL全部加载到内存中,需要多大的空间。
1MB = 2^20 = 10^6 = 100W
1GB = 2^30 = 10^9 = 10亿
50亿 = 5G * 64 Byte = 320G
明显是不可能全部加载到内存中的。我们可采用以下方法解决:
方法1:
采用Bloom filter,假设布隆过滤器的错误率为0.01,则位数组大小m约为输入元素个数n的13倍,此时需要的哈希函数k约为8个。
元素个数:n = 5G
位数组大小:m = 5G * 13 = 65G = 650亿 即需要650亿个bit位才能达到错误率0.01
而我们拥有的内存可容纳bit位个数:4G * 8bit = 32G bit = 320亿,按此实现错误率大于0.01。
方法2:
分别扫描A,B两个文件,根据hash(url)%k(k为正整数,比如k = 1000,那么每个小文件只占用300M,内存完全可以放得下)将url划分到不同的k个文件中,比如a0,a1,....a999;b0,b1,...b999;这样处理后相同的url肯定在对应的小文件中(a0 vs b0,a1 vs b1,...a999 vs b999)因为相同的url%1000的值肯定相同,不对应的小文件不可能有相同的url;然后我们只要求出1000对小文件中相同的url即可。比如对于a0 vs b0,我们可以遍历a0,将其中的url存放到hash_map中,然后遍历b0,如果b0中的某个url在hash_map中,则说明此url在a和b中同时存在,保存下来即可。
1)a,b分别用hash分成m个小文件
2)在a对应第i个文件,用hash表标记url是否出现,遍历在b对应的第i个文件查看url在hash表中是否存在,若存在则为共同url
3)合并m个文件中找到的共同url
2、 海量日志数据,提取出某日访问百度次数最多的那个IP。
IP有32位,共有232232个IP。
1)采用hash的方式,ip%m,将大文件分成m个小文件。
2)对每个小文件,用hash表统计ip出现的次数。找出这个小文件出现次数最多的ip
3)在这m个ip中,比较得到出现次数最多的ip。
如果是top k的话,就维护一个长度为k的最小堆。
3、统计最热门的10个查询串,要求使用的内存不能超过1G。
假设目前有一千万个记录,这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。每个查询串的长度为1-255字节。一个查询串的重复度越高,说明查询它的用户越多,也就是越热门。
300万*255=7.65x10^8<1GB
1)用hash表统计查询串出现的频率
2)维护长度为k的最小堆
4、有10个文件,每个文件1G,每个文件的每一行存放的都是用户的query,每个文件的query都可能重复。要求你按照query的频度排序。
10文件顺序读取,然后hash,分散到10个文件里面去。再hash表统计词频,排序。最后归并。
二、 海量数据,不重复or重复的数据
1、2.5亿个整数中找出不重复的整数的个数
32位整数共有232232个,每个数用1bit标记是否出现,共需要232bit=4G/8=512M232bit=4G/8=512M
申请512M的内存,每一bit,0表示未出现,1表示已出现。
计数器count初始化为0。
遍历数据文件,对每一个数,查看对应标志位,如果为0,则count+1,并标记为1;
2、2.5亿个整数中找出不重复的整数
2-Bitmap,每个数用2个bit来标记,00未出现,01出现1次,10出现多次,11无意义。需要1G内存。
遍历数据文件,对每个数查看标志位,为00则改为01,为01则改为10
最后,查看bitmap输出标志位01的数。
3、5亿个int找它们的中位数
思路是先分治,再用双堆法:
首先我们将int划分为2^16个区域,然后读取数据统计落到各个区域里的数的个数,之后我们根据统计结果就可以判断中位数落到那个区域。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。
双堆法的思路:
序列中的元素,前一半存储在一个最大堆中,后一半存储在一个最小堆中。控制MaxHeap与MinHeap的大小差不能超过1。
参考:
https://www.cnblogs.com/chenhuan001/p/5866916.html
https://blog.csdn.net/my_lovely_lemon_tree/article/details/78195957