算法通关村十五关——超大规模数据场景的问题

1.对20GB文件进行排序

将文件划分成一些块，每块大小是B,就是可用内存的大小，例如1GB一块，我们就可以将文件分为20块。我们先对每块进行排序，然后再逐步合并。可以使用进行两两归并，也可以使用堆排序策略将其逐步合并成一个。这种排序方式也称外部排序。

2.超大文本中搜索两个单词的最短距离

从左到右遍历数组words,当遍历到Word1时，如果已经遍历的单词中存在word2,取最后一个已经遍历到的Word2所在的下标。同理，当遍历到word2时，应该取最后一个已经遍历到的Word1所在的下标。用index1和index2分别表示数组words已经遍历的单词中的最后一个word1的下标和最后一个word2的下标，当遇到word1或者word2时就更新下标。将时间复杂度为O(n)。

3.从10亿数字中寻找最小的100万个数字

本题有三种常用的方法：

    第一种是先排序所有元素，然后取出前100万个数，该方法的时间复杂度为O(logn)。
    第二种方式是采用选择排序的方式，首先遍历10亿个数字找最小，然后再遍历一次找第二小，然后再一次找第三小，直到找到第100万个。
    第三种方式，采用大顶堆来解决，“查小用大堆，查大用小堆”。为前100万个数字创建一个大顶堆，最大元素位于堆顶。然后，遍历整个序列，只有比堆顶元素小的才允许插入堆中，并删除原堆的最大元素。之后继续遍历刺下的数字，最后剩下的就是最小的100万个。