如何在10亿个数中找到前1000大的数?
定位
TopN问题
算法
- 排序不是最优的解决方案;
- 可以考虑分治法;
- 类似快速排序中的partition的操作,随机选一个数t,然后对整个数组进行partition,会得到两部分,前一部分数都大于t,后一部分都小于t,时间复杂度O(n)。
注意点
-
10亿个数加载进内存大概需要4G内存;
-
若一个机器资源有限,可采用分布式的思想,切分数据后分别计算然后汇总;
-
如果只有一台资源有限的机器,可以使用小顶堆(每个节点都要比它的左右子节点要小);
-
从文件中读取出数据,遍历一遍即可,比堆顶的数据大就替换,然后调整小顶堆;