超级会员免费看
本文探讨了在海量数据中找出最大的10000个数（Top K问题）的各种策略，包括排序、局部淘汰法、分治法、Hash法和最小堆。提出优化方法如数据分组、分治结合Trie树/Hash和小顶堆。并讨论了不同内存和计算资源条件下的解决方案，以及如何在实际应用中选择合适的方法。
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
问题：先拿10000个数建最小堆，然后依次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。
优化的方法：可以把所有10亿个数据分组存放，比如分别放在1000个文件中。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数，合并到一起在再找出最终的结果。
以上就是面试时简单提到的内容，下面整理一下这方面的问题：
top K问题
在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最高的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。
针对top K类问题，通常比较
订阅专栏 解锁全文
2935
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
