海量数据排序算法

题目：有100万无序数据，要求从小到大排序。但是每次内存只能排序1万条数据。

1.因为每次只能处理1万条数据，所以要分组处理，我们将100万数据分成100组

2.因为每组数据都是无序的，所以我们使用平均时间复杂度较好的算法。

3.当我们分组排序完成后，我们要排序1万条数据就会简单很多了。我们一共要取1万条数据，一共有100组，那么每组取100条数据，一共1万条数据进行堆排序。每次堆排序可以取到前100小的，一共要进行1万次堆排序。

4.找出最小的100个数后，要分别从它们所属的组中补充相应的数进来，然后再进行堆排序，再次取100个最小的数。

5.最后取完所有，完成100万个数的排序。

 

为什么要堆排序？

因为我要取最小的，而且我排序的集合在发生改变

 

为什么发生改变？

因为我们不知道各组之间数据的大小关系，只知道在当前组数据是有序的，而A组未取的数据依旧可能比B组最小的数大，所以每组取100个数据，我们一个集合中堆排序后，能确定的100万个数据的最小数只能确定1万个，之后要补充数之后再次进行排序。

 

取出来的数如何存放？

将取出来的数和它所属的组标记封装起来，再进行堆排序。

 

整个排序的时间复杂度？

每组数据排序的时间复杂度是O(n/100*log n/100)，那么100组排序的时间复杂度为O(n*log n/100)。

一次堆排序时间复杂度O(n/100*lg n/100)，一万次堆排序的时间复杂度为O(100*n*lg n/100)。

整个的时间复杂度就是两个相加。