在谈到如何使K路归并更加快速时,大部分书上写的是增加路数K,但是他们都没有说明这其中很重要的一点,就是增加路数的同时他们将内存也扩大了。
下面我们分析现实中的情况,待排数据和内存大小都是确定的。
给定待排序的数据,大小为Sd,给定内存大小Sm,现在可控的只有分页大小(注意这个页与操作系统中的页没有任何关系,是排序的程序自定的数据分割单位,数据页),设为Sp:
内存的结构是:
Page 1 | Page 2 | ...... | Page K-1 | Page K | Page K+1 |
其中,page1到pageK是输入缓冲,pageK+1是输出缓冲。
磁盘中存储数据的结构是:(每个数字代表一个数据页page,每个框代表一个归并好的数据块block,当框只有一个时,归并结束)
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | ... |
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | ... |
1 2 | 3 4 | 5 6 | 7 8 | ... |
...
1 2 3 4 5 6 7 8 ... |
为了分析方便,记内存大小Sm = K+1 (page),待排序的数据大小Sd = D (page)
每一遍排序都有D个page被读到内存的K个输入缓冲中(在排序过程中,每当某个输入缓冲page空时,就会从磁盘读取对应block的下一个page),有D个page被写出到磁盘中(在排序过程中,每当输出缓冲page满时,就会将该page写出到磁盘),因此,每遍排序都有2D次IO。
而总共的遍数是log(K)(D),因此总共的IO次数为2D*log(K)(D)。
有的书上就因为上面的式子得出结论K越大,IO次数越少,效率越高。然而,D不变的前提是,page的大小Sp是不变的(Sd = D*Sp,而原始数据Sd是不变的),而内存大小Sm = (K+1)*Sp,K变大,Sp又是不变的,所以只能是内存Sm变大。这点是不现实的!
下面以可控参数Sp(程序设定的数据分割单位——数据页的大小)表达IO次数:
替换D = Sd/Sp,M = Sm/Sp - 1,因此总IO次数的表达式为
2 * Sd / Sp * lg(Sd/Sp) / ( lg(Sm/Sp -1) )
给定Sd、Sm,上式中的变量就只有Sp,可以求出最佳的Sp使IO次数达到最小。