如何在10亿个数中找到前1000大的数？

2019独角兽企业重金招聘Python工程师标准>>>

如何在10亿个数中找到前1000大的数？

定位

TopN问题

算法

• 排序不是最优的解决方案；
• 可以考虑分治法；
• 类似快速排序中的partition的操作，随机选一个数t，然后对整个数组进行partition,会得到两部分，前一部分数都大于t，后一部分都小于t，时间复杂度O(n)。

注意点

• 10亿个数加载进内存大概需要4G内存；

• 若一个机器资源有限，可采用分布式的思想，切分数据后分别计算然后汇总；

• 如果只有一台资源有限的机器，可以使用小顶堆（每个节点都要比它的左右子节点要小）；

• 从文件中读取出数据，遍历一遍即可，比堆顶的数据大就替换，然后调整小顶堆；

转载于:https://my.oschina.net/mengzhang6/blog/3054401