常见海量数据处理面试题总结

1. http://taop.marchtea.com/09.03.html

套路：hash映射+hashmap统计+排序

1) hash映射：将大文件中的数据通过取模运算映射到很多小文件中，取模运算可以保证同一个数据值被映射到同一个小文件中；

2) hashmap统计：分别对每个小文件进行处理，统计小文件中同一个数据值的出现次数，得到每个小文件中出现次数最多的数据值；

3) 排序：对2)得到的结果进行排序或者partition，得到出现次数最多/排名前TopN的数据值。

2. http://blog.csdn.net/v_july_v/article/details/6279498

from 七月算法的总结