磁盘文件排序－－blockSort和MRSort

今天看到了在Nutch的文档里说的BlockSort，见http://wiki.apache.org/nutch/WebDB 

 

blockSort的排序方法是如果文件大小是可用内存的K倍，就先把1/k读入内存，进行排序后写入一个新文件，依次操作之后，就能得到K个文件。然后打开这k个文件，读取每个文件的头一个元素并进行比较，把最小的写入磁盘，然后从提供最小的元素的那个文件中读下一个，依次类推，可以最终得到一个完整的排序。

 

要注意的是，如果内存够大，merge的时候可以多读入一些元素而不是仅仅读入一个；如果k过大，可以进行多步merge，最后合为一个。

 

 

这让我想到了MapReduce进行排序时候的算法（这里暂时叫它MRSort），MR虽然是分布式的，但是这个算法同样是可以用于单机排序的。

 

MRSort一上来并不急于排序，它首先对文件进行抽样调查，考察一定数量的元素，然后把元素的分布划分成M个区间，然后再读待排序文件，把属于不同区间的元素写入不同的文件，这样就得到了M个无序的文件。然后再对m个文件进行排序。最终得到m个有序的文件，而MRSort不需要merge，因为这些文件是分区间的，不同区间的元素属于不同文件，因此没有必要merge。

 

 

可见MRsort理论上应该是更快一些，但是它的效率受抽样结果的影响。