海量数据处理（一）哈希分治

    海量数据处理有很多种方法，如哈希分治、simhash、外排序、多层划分等。本文将讨论哈希分治

 

    哈希分治的核心是hash_map,hash_map和map类似，不过hash_map能够创造出对象而map不能。对内存中查找数据，hash_map比较适合在内存中查找。当然，这不是重点。

 

    一个很典型的题：如果有两个500G的文件，里面放着若干IP地址，要求查找出出现频率TOP10，而给定内存为1G。该怎么处理。

 

很明显，我们不可能将文件加载到内存里。所以，对于这种海量数据处理，我们需要使用hash_map类的查找方法。

第一步：哈希映射。

    分而治之的思想࿰