大数据中位数怎么运算_只有2G内存，在10G数据量怎样找到中位数？

题目：在一个文件中有 10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。只写出思路即可(内存限制为 2G的意思就是，可以使用2G的空间来运行程序，而不考虑这台机器上的其他软件的占用内存)。

关于中位数：数据排序后，位置在最中间的数值。即将数据分成两部分，一部分大于该数值，一部分小于该数值。中位数的位置：当样本数为奇数时，中位数=(N+1)/2 ; 当样本数为偶数时，中位数为N/2与1+N/2的均值(那么10G个数的中位数，就第5G大的数与第5G+1大的数的均值了)。

分析：既然要找中位数，很简单就是排序的想法。那么基于字节的桶排序是一个可行的方法

思想：将整形的每1byte作为一个关键字，也就是说一个整形可以拆成4个keys，而且最高位的keys越大，整数越大。如果高位keys相同，则比较次高位的keys。整个比较过程类似于字符串的字典序。

第一步:把10G整数每2G读入一次内存，然后一次遍历这536,870,912个数据。每个数据用位运算">>"取出最高8位(31-24)。这8bits(0-255)最多表示255个桶，那么可以根据8bit的值来确定丢入第几个桶。最后把每个桶写入一个磁盘文件中，同时在内存中统计每个桶内数据的数量，自然这个数量只需要255个整形空间即可。

代价：

10G数据依次读入内存的IO代价(这个是无法避免的，CPU不能直接在磁盘上运算)。

在内存中遍历536,870,912个数据，这是一个O(n)的线性时间复杂度。

把255个桶写会到255个磁盘文件空间中，这个代价是额外的