如何从大量数据中找出高频词

1、Question

有一个 1GB 大小的文件，文件里每一行是一个词，每个词的大小不超过 16B，内存大小限制是 1MB，要求返回频数最高的 100 个词(Top 100)。

2、分析

仍然是大数据量的处理问题。由于文件大小远超过内存大小。所以仍然采用分治思路。把大文件拆分多分。如果5000份，每份200KB。如果2000份，每份500KB。此处分成5000份，每份200KB。每次处理200KB的文件。

思路如下：

首先把大文件差分成可以加载到内存中的小文件，然后遍历各个小文件，对遍历到的每个词x，执行 hash(x) % 5000 ，将结果为 i 的词存放到文件ai中。遍历结束后，我们可以得到 5000 个小文件。每个小文件的大小为 200KB 左右。如果有的小文件大小仍然超过 1MB，则采用同样的方式继续进行分解。

接着统计每个小文件中出现频数最高的 100 个词。最简单的方式是使用 HashMap 来实现。其中 key 为词，value 为该词出现的频率。具体方法是：对于遍历到的词 x，如果在 map 中不存在，则执行 map.put(x, 1) ；若存在，则执行 map.put(x, map.get(x)+1) ，将该词频数加 1。

上面我们统计了每个小文件单词出现的频数。接下来，我们可以通过维护一个小顶堆来找出所有词中出现频数最高的 100 个。具体方法是：依次遍历每个小文件，构建一个小顶堆，堆大小为 100。如果遍历到的词的出现次数大于堆顶词的出现次数，则用新词替换堆顶的词，然后重新调整为小顶堆，遍历结束后，小顶堆上的词就是出现频数最高的 100 个词。

总结

1. 分而治之，进行哈希取余；
2. 使用 HashMap 统计频数；
3. 求解最大的 TopN 个，用小顶堆；求解最小的 TopN 个，用大顶堆