海量数据处理（1）

海量数据处理

题目1

给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，找出a、b文件共同的url？

解决方案：

每个文件的大小为（5000000000×64÷1024÷1024÷1024）G≈298G，远远超出内存限制，所以不可能将其完全加载到内存中处理，采用分而治之的思想。

1. 处理文件a

遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1000个小文件中（文件名记为a₁,a₂,…,a₁₀₀₀）。这样每个小文件的大约为300M。

2. 处理文件b

遍历文件b，采取和a相同的方式将url分别存储到1000个小文件中（文件名记为b₁,b₂,…,b₁₀₀₀）。

这样处理后，所有可能相同的url都存在于对应的小文件中（a₁ vs b₁,a₂vs b₂,…,a₁₀₀₀ vs b₁₀₀₀），不对应的小文件不可能有相同的url。

接下来我们只要求出1000对小文件中相同的url即可。

3. 小文件处理

求每对小文件中相同的url时，可以把该小文件（a_i）的url存储到hash_set中。然后遍历对应小文件（b_i）的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。