外部排序

转载自：https://www.sohu.com/a/258751244_818692
要排序的数据太多，以至于内存一次性装载不下。只能通过把数据分几次的方式来排序，我们把这种方法称之为外部排序
问题：

• 存在12个待排序的数据，内存中一次只能容纳3个数值，如何实现对数据的排序

算法1：

• step1：将12个数据分四次加载到内存，分别对其排序，每次排序后的结果输出到文件中
  
  

• step2：对有序子文件进行两两归并排序
  
  
  

• step3：经过step2之后产生两个有序的文件，然后对这两个文件归并。

• 排序结束，每个数字总共有3次输入输出。例如对于数据2，我们把无序的12个数据分成有序的4个子串需要读写各一次，把2份3个有序子串合并成6个有序子串读写各一次；把2份6个有序子串合并从12个有序子串读写各一次，一共需要读写各3次。
• 改进：不再进行两两合并，而是内存中可以容纳几个数字，就对几个文件进行合并，称其为n路归并，最坏情况下和上述方法的IO次数一致。n并非越大越好，因为需要在n个数字中选择一个最小的输出。

算法2：
既然n并非越大越好，我们可以考虑减少有序子串的总个数。在最开始分割的时候，让子串装的数据多一点，进而使得总的子串个数少一点。

• 可以从12个数据读取3个存到内存中，然后从内存中选出最小的那个数放进子串p1里；
• 之后再从在从剩余的9个数据读取一个放到内存中，然后再从内存中选出一个数放进子串p1里，这个数必须满足比p1中的其他数大，且在内存中尽量小。
• 这样一直重复，直到内存中的数都比p1中的数小，这时p1子串存放结束，继续来p2子串的存放。例如(这时假设内存只能存放3个int型数据)：
  
  
  
  
• 这个时候，已经没有符合要求的数了，且内存已满，进而用p2子串来存放，以此类推
• 这样p1中存放了四个有序的数据，而原来的方法p1中只能存放三个有序的数据。

如何选出每次的目的数呢？

• 从12个数据中读取3个数据，构建成一个最小堆，然后从堆顶选择一个数写入到p1中。之后再从剩余的9个数中读取一个数，如果这个数比刚才那个写入到p1中的数大，则把这个数插入到最小堆中，重新调整最小堆结构，然后在堆顶选一个数写入到p1中。

• 否则，把这个数暂放在一边，暂时不处理。之后一样需要调整堆结构，从堆顶选择一个数写入到p1中。（被放在一边的数是不能再放入p1中的了，因为它一定比p1中的数都要小，所以它会放在下一个子串中）
  
  
  
  

• 读入下一个数据8，比86小，不加入堆结构。此时p1已经完成了，把那些刚才暂放一边的数重新构成一个堆，继续p2的存放。
  

• 最后生成的p2如下：
  

• 按这种算法，最好的情况下只产生一种有序子串；最坏的情况下和算法1结果相同。平均来看：如果内存中可以容纳n个元素，平均每个子串的长度为2n，可以减少一半的子串个数。