（八）1-100亿数字排序-分治法和K路归并算法

我上一篇中说到面试被问到1-100亿数字存储需要多大空间，实际问题是：
如果有1-100亿个数字，这些数字是存放在文件中并且是乱序的，如果内存不够加载所有的数字，那么你如何给这100亿个数字排序呢？
其实考察的就是分治法和K路归并算法，可惜K路归并没回答出来，这篇就讲下如果进行排序

首先是分治法，“分而治之”，把一个大的问题分成n个小问题，把小问题解决后，再合并处理，子问题相互独立（就是你处理小问题1，不能影响到小问题2，即子问题之间不存在共同的问题、资源）并且和大的问题类似（例如小问题和大问题都是排序）。有兴趣的可以去百度查下，这是一个经典的思想方法。

那么我们尝试把100亿个数字分开，大概分为1000份，那么每份大概就是75M，每份完全可以加载到内存中处理。首先对这1000份数据进行个个排序，让每份都是有序的，然后再归并处理。

K路归并算法是指：有K个数组，我们分别遍历这K个数组，把每个数组中的最小（大）数字取出来，组成一个包含K个数字的临时数组，再把这个临时数组排序，从中取出最小（大）的数字，那么它就是这K个数组中最小的数据。
有一篇文章讲的很好，你们有需要可以去看下：https://www.iteye.com/blog/shmilyaw-hotmail-com-1776132

咱们来图解下这个算法：

有A B C D一共4个数组，一共20个数字，我们要找出其中最小的数字：
（1）遍历这4个数组，找出其中最小的数字，分别是2、1、11、14

（2）把这4个数字（2、1、11、14）组成一个临时数组，再对这个临时数组进行遍历，找出其中最小的数字，得出结果为1。

这种算法在少数数据的时候是很浪费时间和资源的，它的存在就是为了给大量数据服务的，例如上千亿、兆级数据，关键是你还可以把每个数组先排序，排序后取数据，例如排序后数据：

这样你每次取到的数据都是这个数组中最小的那个了，有人说那有什么用呢，我用的时候再遍历不行么。还是那句话，你放到兆级数据中去看，每组数据可以并行排序，一台电脑不行，我分到不同电脑上不行么，一个总的数据，分成N个子数据集，每个集合分发到其他电脑上（配置可以差点），其他电脑上排序后，再发送回来存储（最不值钱的就是硬盘存储了）。典型的大数据的map-reduce。

回到本文问题：如何进行排序？
按照上面的说法：先把2 1 11 14进行排序，直接存储排序后的肯定不可以，因为第一个数组A中还有一个3未取出来，肯定不能存1 2 11 14，那么就需要变通了：
1）首先是已经排好序的4个数组

2）取出每个数组的最小值，再进行排序，得到1 2 11 14的临时数组，取出其中的最小值1，把1存进最终的结果中：

3）这时，临时数组只剩下了2 11 14，1加入了最终结果中，1原来所在的数组是B组，那么我们从B组中再取出它第二小的数字4，加入临时数组并排序：

此时A B C D数组的情况是（红圈代表数据被取出）：

4）再从临时数组中取最小值2，把2加入最终结果中，2来自A数组，从A数组中取出第二小的数据3，加入临时数组并排序：

5）按照这个方式：3加入最终结果，从A组取出5加入临时数组排序；4加入最终结果，从B组中取出6加入临时数组排序。。。。完成最终的排序结果。

这就是K路排序算法的图解过程。
那么回到本文开头问题：1-100亿数字排序。
1）把100亿个数字分成1000份，分别对每份进行排序
2）从1000份中先取出每份的最小值进行排序，按照（最小值数字，数组名）的方式，以最小值数字为序排列
3）从临时数组中，取出最小值加入最终结果，同时读取最小值的数组名，再从那个数组中取一个第二小的数字加入临时数组并排序
4）就这样不断重复，直到所有数组都没有数据可以取为止

解决思路就是这样，具体方法可以参考：http://netsmell.com/post/how-sort-10-billion-data.html?ref=myread，这篇文章写的很好。