【面试题】海量数据处理：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

• 问题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

• 分析：50亿个url，每个url 64字节：

  • 一共需要 50亿 × 64字节 ÷ 1024 ÷ 1024 ÷ 1024 = 298G ≈ 300G ，显然无法一次读入内存的。因此这里采用将大文件切割的分治法。
  • 假设将每个大文件分割为1000个小文件，那么每个小文件大小为：300G ÷ 1000 × 1024 = 307M ≈ 300M，所以同时加载两个文件则需要 300M × 2 = 600M

• 方案：分治法 + 哈希取模法

• 步骤：

如图所示：

海量数据处理面试题：

1. 将a、b 两个文件，用相同的哈希函数（把url换成数字的话，哈希函数更容易构造），分解为1000个独立哈希值相同的小文件

2. 哈希值相同的url必然在序号对应的文件中，因此只要在序号对应的两个文件中进行url的相互匹配即可

3. 比较每对序号对应的小文件时，可以使用hash_set