java 多路归并_GitHub - lsf921016/outterSort: 完整的外排序算法，对8000万条数据（2G）大小进行排序，使用临时文件作为内存扩展，算法思想：使用选择置换排序最大化顺...

<<<<<<< HEAD

#一.涉及知识

堆排序，归并排序, 选择置换，多路归并，败者树

文件io操作

对内存的理解

#二.问题描述

现实中，当需要对一个很大的文件中的记录进行排序，内存无法一次装下全部数据，就需要借助磁盘空间作为数据中转，即从n个中转文件中(中转文件内的数据先要在内存排好序)，每次取出N/n(N为最大内存可用空间)长度的顺串(runs)在内存中排序，然后写入输出文件直到归并完成，中转文件数量为n，即是n路归并，以此来解决内存不足的问题，所以原来的问题就分解成了两个子问题：

生成顺串

归并顺串

本例使用选择置换来生成顺串，多路归并来归并顺串，败者树来达到最优归并

##1.为什么使用选择置换和多路归并：

再考虑效率的问题时，我们假设有8路顺串等待归并，如果每次归并2个，则需要归并4+2+1次，共进行了3趟归并，每个数据也就被io操作了3次，如果8路一起归并，则每个数据只会被io操作一次。因此，减少归并趟数可以大大减少系统io的开销。为了减少归并躺数，我们可以从两方面着手：

生成尽可能大的顺串：假设内存一次只能对m条数据进行排序，则选择置换可以每次生成大于m小于2m条有序数据。

采用多路归并。

##2.为什么使用败者树

如果当前有k路，m个顺串需要归并，则每输出一条数据需要进行k-1次比较，则时间复杂度为O(n),使用败者树只有在初始化的时候需要比较k-1次，此后每次只需要logkM次，时间复杂度威O(logk)。原理就像分组比赛，每个人不用和其他所有都比一次，而是两两分组，胜者只和其他组的胜者比较。

(截图自coursera，北京大学高级数据结构与算法公开课，侵权删。)

多路归并与败者树算法描述：

//建立败者树

void createLoserTree(){

b[k]=MINKEY;

for (int i = 0; i < k; i++) {

ls[i]=-1;

}

for (int i = k-1; i >=0 ; i--) {

Adjust(i);

}

}

}

//调整败者树

void adjust(int s){

for (t=(s+k)/2; t >0 ; t/=2) {

if (b[s]>b[ls[t]]){

swap(s,ls[t]);

}

}

ls[0]=s;

}

//k路归并

void K_merge(){

for (int i = 0; i < k; i++) {

input(i)//第i路输入一个元素到b[i]

}

createLoserTree(ls);

while (b[ls[0]]!=MAXKEY){

q=ls[0];

output(b[q]);

input(q);

adjust(q);

}

}

最后附上我写的完整代码(可运行)，对8000万条记录(2G大小)进行排序，并输出，耗时657.211s。

代码github地址：https://github.com/lsf921016

package outte