海量数据处理：如何从10亿个数中，找出最大的10000个数？（top K问题）

一、问题

有 10 亿个不重复的数字，内存中只能放进 1 万个数，怎么找到最大的 10 万个数字？

这道题的思路是，先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。

复杂度分析

建堆时间复杂度是O(m)，堆调整的时间复杂度是O(logm)，最终时间复杂度等于，1次建堆时间+n次堆调整时间=O(m+nlogm)=O(nlogm)
这里的n为10亿，m为10000

关于建堆时间复杂度为 O(m)的证明：https://www.zhihu.com/question/20729324

优化的方法

可以把所有10亿个数据分组存放，比如分别放在1000个文件中。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数，合并到一起在再找出最终的结果。

下面整理一下这方面的类似问题：

二、top K 问题

在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最好的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。

针对top K类问题，通常比较好的方案是：分治+Trie树/hash+小顶堆（就是上面提到的最小堆），即先将数据集按照Hash方法分解成多个小数据集，然后使用Trie树活着Hash统计每个小数据集中的query词频，之后用小顶堆求出每个数据集中出现频率最高的前K个数，最后在所有top K中求出最终的top K。

例如，有1亿个浮点数，如何找出其最大的10000