如何使K路归并外排序达到最优

   在谈到如何使K路归并更加快速时，大部分书上写的是增加路数K，但是他们都没有说明这其中很重要的一点，就是增加路数的同时他们将内存也扩大了。

   下面我们分析现实中的情况，待排数据和内存大小都是确定的。

   给定待排序的数据，大小为Sd，给定内存大小Sm，现在可控的只有分页大小（注意这个页与操作系统中的页没有任何关系，是排序的程序自定的数据分割单位，数据页），设为Sp：

   内存的结构是：

Page   1

Page   2

......

Page K-1

Page   K

Page K+1

   其中，page1到pageK是输入缓冲，pageK+1是输出缓冲。

   磁盘中存储数据的结构是：（每个数字代表一个数据页page，每个框代表一个归并好的数据块block，当框只有一个时，归并结束）

1

2

3

4

5

6

7

8

...

（归并开始前，页内排序前）

1

2

3

4

5

6

7

8

...

（归并开始前，页内排序后）

1 2

3 4

5 6

7 8

...

（第一遍归并结束后）

...

1 2 3 4 5 6 7 8 ...

（归并结束）

   为了分析方便，记内存大小Sm = K+1 （page），待排序的数据大小Sd = D （page）

   每一遍排序都有D个page被读到内存的K个输入缓冲中（在排序过程中，每当某个输入缓冲page空时，就会从磁盘读取对应block的下一个page），有D个page被写出到磁盘中（在排序过程中，每当输出缓冲page满时，就会将该page写出到磁盘），因此，每遍排序都有2D次IO。

  而总共的遍数是log(K)(D)，因此总共的IO次数为2D*log(K)(D)。

  有的书上就因为上面的式子得出结论K越大，IO次数越少，效率越高。然而，D不变的前提是，page的大小Sp是不变的（Sd = D*Sp，而原始数据Sd是不变的），而内存大小Sm = （K+1）*Sp，K变大，Sp又是不变的，所以只能是内存Sm变大。这点是不现实的！

   下面以可控参数Sp（程序设定的数据分割单位——数据页的大小）表达IO次数：

   替换D = Sd/Sp，M = Sm/Sp - 1，因此总IO次数的表达式为

   2 * Sd / Sp * lg(Sd/Sp) / ( lg(Sm/Sp -1) )

   给定Sd、Sm，上式中的变量就只有Sp，可以求出最佳的Sp使IO次数达到最小。