在一个文件中有 10G 个整数,乱序排列,要求找出中位数。内存限制为 2G。 -- Shirley对比编程珠玑 in<Shirley>

http://www.cppblog.com/richbirdandy/archive/2008/09/26/61426.html


 题目和基本思路都来源网上,本人加以整理。

题目:在一个文件中有 10G 个整数,乱序排列,要求找出中位数。内存限制为 2G。只写出思路即可(内存限制为 2G的意思就是,可以使用2G的空间来运行程序,而不考虑这台机器上的其他软件的占用内存)。

关于中位数:数据排序后,位置在最中间的数值。即将数据分成两部分,一部分大于该数值,一部分小于该数值。中位数的位置:当样本数为奇数时,中位数=(N+1)/2 ;当样本数为偶数时,中位数为N/2与1+N/2的均值(那么10G个数的中位数,就第5G大的数与第5G+1大的数的均值了)。

分析:明显是一道工程性很强的题目,和一般的查找中位数的题目有几点不同。
1. 原数据不能读进内存,不然可以用快速选择,如果数的范围合适的话还可以考虑桶排序或者计数排序,但这里假设是32位整数,仍有4G种取值,需要一个16G大小的数组来计数。

<Shirley>
初一看很像编程珠玑的第一个问题,但是又有些不同。
编程珠玑的问题是1m的内存,去排序1000w的数据。每个数据有且可能存在一个!
解题思路是:1)把每条数据映射到一个32bit的int -- 多通道排序
书上说1m的内存可以表示1m/4 = 250000(这个对么,我怎么觉得不对呢,我觉得比250000多,咔咔。)
然后就每次读入1m,排序之后,输出到文件,然后在continue 40遍。。
2)把每条数据映射到一个bit -- 这个是由每条数据最多一次决定的 --精彩排序
然后1m byte = 800w条数据最多,这个 cover不了1000w个数据,好吧,分治。
我们搞2次,一次500w条的读,咔咔,就解决了这个问题。

现在回到这个题目中了,10G个数,但是不确定有几个了,我们来考察到底要用几个bit来表示一个数存在的次数。
这里探讨一下,假设10G个整数都是同一个,那就是说 要在一个数组元数上存10G次,32位够么?
interesting,32位有2^32次可能,也就是4个G,要count 10个G,怎么也要用64位了,也就是8个byte。
我们一次只能存 2G/8byte = 256m 组数。。
我只想到这里,非常感谢楼主,给我提供了一个更妙的思路,我们不是要每个数的count次数,而是找到中位数。
也就是说,我们可以继续分治,把数化作256m组,当然,也可以小于256m组。
如文中所说,整数范围是0 - 2^32 - 1,一共有4G种取值,映射到256M个区段,则每个区段有16(4G/256M =16)种值,
每16个值算一段, 0~15是第1段,16~31是第2段,……2^32-16~2^32-1是第256M段。
一个64位无符号整数最大值是0~8G-1,这里先不考虑溢出的情况。总共占用内存256M×8B=2GB。

之后,全如文中所述的去处理,就ok了。

p.s
我就很搞不懂这个bit 和 byte,把他们的关系记录在下面
1M= 1024K=1024*1024byte (字节)
1G=1024M = 1024*1024*1024byte (字节)
1 byte = 8 bit 
一个整数 32位 = 4byte


2. 若看成从N个数中找出第K大的数,如果K个数可以读进内存,可以利用最小或最大堆,但这里K=N/2,有5G个数,仍然不能读进内存。

3.接上,对于N个数和K个数都不能一次读进内存的情况,《编程之美》里给出一个方案:设k<K,且k个数可以完全读进内存,那么先构建k个数的堆,先找出第0到k大的数,再扫描一遍数组找出第k+1到2k的数,再扫描直到找出第K个数。虽然每次时间大约是nlog(k),但需要扫描ceil(K/k)次,这里要扫描5次。

解法:首先假设是32位无符号整数。
1. 读一遍10G个整数,把整数映射到256M个区段中,用一个64位无符号整数给每个相应区段记数。
说明:整数范围是0 - 2^32 - 1,一共有4G种取值,映射到256M个区段,则每个区段有16(4G/256M =16)种值,每16个值算一段, 0~15是第1段,16~31是第2段,……2^32-16~2^32-1是第256M段。一个64位无符号整数最大值是0~8G-1,这里先不考虑溢出的情况。总共占用内存256M×8B=2GB。

2. 从前到后对每一段的计数累加,当累加的和超过5G时停止,找出这个区段(即累加停止时达到的区段,也是中位数所在的区段)的数值范围,设为[a,a+15],同时记录累加到前一个区段的总数,设为m。然后,释放除这个区段占用的内存。

3. 再读一遍10G个整数,把在[a,a+15]内的每个值计数,即有16个计数。

4. 对新的计数依次累加,每次的和设为n,当m+n的值超过5G时停止,此时的这个计数所对应的数就是中位数。

总结:
1.以上方法只要读两遍整数,对每个整数也只是常数时间的操作,总体来说是线性时间。

2. 考虑其他情况。
若是有符号的整数,只需改变映射即可。若是64为整数,则增加每个区段的范围,那么在第二次读数时,要考虑更多的计数。若过某个计数溢出,那么可认定所在的区段或代表整数为所求,这里只需做好相应的处理。噢,忘了还要找第5G+1大的数了,相信有了以上的成果,找到这个数也不难了吧。

3. 时空权衡。
花费256个区段也许只是恰好配合2GB的内存(其实也不是,呵呵)。可以增大区段范围,减少区段数目,节省一些内存,虽然增加第二部分的对单个数值的计数,但第一部分对每个区段的计数加快了(总体改变??待测)。

4. 映射时尽量用位操作,由于每个区段的起点都是2的整数幂,映射起来也很方便。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值