海量数据处理
题目1
给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,找出a、b文件共同的url?
解决方案:
每个文件的大小为(5000000000×64÷1024÷1024÷1024)G≈298G,远远超出内存限制,所以不可能将其完全加载到内存中处理,采用分而治之的思想。
1. 处理文件a
遍历文件a,对每个url求取hash(url)%1000,然后根据所取得的值将url分别存储到1000个小文件中(文件名记为a1,a2,…,a1000)。这样每个小文件的大约为300M。
2. 处理文件b
遍历文件b,采取和a相同的方式将url分别存储到1000个小文件中(文件名记为b1,b2,…,b1000)。
这样处理后,所有可能相同的url都存在于对应的小文件中(a1 vs b1,a2vs b2,…,a1000 vs b1000),不对应的小文件不可能有相同的url。
接下来我们只要求出1000对小文件中相同的url即可。
3. 小文件处理
求每对小文件中相同的url时,可以把该小文件(ai)的url存储到hash_set中。然后遍历对应小文件(bi)的每个url,看其是否在刚才构建的hash_set中,如果是,那么就是共同的url,存到文件里面就可以了。