海量数据处理:有1亿个浮点数,找出其中最大的10000个

        第一种方法是将数据全部排序,然后在排序后的集合中进行查找,最快的排序算法的时间复杂度一般为O(nlogn),例如快速排序.而在32位机器上,每个float类型占4B,1亿个浮点数就要占用400M的存储空间,对于一些可以内存小于400MB的计算机而言,显然是不能一次将全部数据读入内存进行排序的.其实即使内存能满足要求,该方法也不高效,因为题目的目的是寻找出最大的10000个数即可,而排序是将所有元素进行排序,做了很多无用功.

       第二种方法是淘汰法,该方法与排序方法类似,用一个容器保存前10000个数,然后将剩余的所有数据一一与容器内的最小数字相比, 如果所有后续的元素都比容器内的1000个数还小,那么容器内的这10000个数就是最大的10000个数.若某一后续袁旭比容器内的最小元素大,则删除容器内的最小元素,并将该元素插入容器,最后遍历完这1亿个数,得到的结果容器中保存的数即为最终结果了.此时的时间复杂度为O(n+m^2),其中m为容易的大小,即10000.

       第三种方法是分治法,将1亿个数据分成100份,每份100万个数据,找出每份数据中最大的10000个,最后在剩下的100*10000个数据里面找出最大的10000个.如果100万数据选的足够理想,那么可以过滤掉1亿数据里的99%的数据.100万个数据里面查找最大的10000个数据的方法如下:用快速排序的方法,将数据分为两堆,如果大的那堆个数N大于10000个,继续对大堆快速排序一次分为两堆;如果大堆个数N小于10000,就在小的那堆里面快速排序一次,找第10000-n大的数字;递归以上过程,就可以找到第10000大的数.参考上述方法找出第10000大数字,就可以类似的方法找出前10000大的数字了.此种方法需要的内存空间为100万*4=4M,一共需要101次这样的比较.

       第四种方法是hash法.如果这1亿个数里面有很多重复的数,先通过hash法,把这1亿个数字去重复,这样如果重复率很高的话,会减少很大的内存用量,从而缩小运算空间,然后通过分治法或者最小堆法进