海量数据处理

两个大文本文件求交集

1. 通过hash函数将一个文件的所有数据映射到1000个文件中，这1000个文件记为a1,a2,a3…a1000。（hash(url) % 1000）
2. 通过相同的hash函数将另一个文件的所有数据也映射到1000个文件中，这1000个文件记为b1,b2,b3…b1000。
3. 由于使用的是相同的hash函数，所以两个文件中一样的数据会被分配到文件下标一致的文件中，接着分别对a1、b1求交集，a2、b2求交集，ai、bi求交集，最后将结果汇总，即为两个文件的交集。