题目描述
给你一个文件,里面包含40亿个整数,写一个算法找出该文件中不包含的一个整数, 假设你有1GB内存可用。
如果你只有10MB的内存呢?
对于40亿个整数,如果直接用int数组来表示的大约要用40*10^8*4B=16GB,超出了内存要求,这里
我们可以用bitmap来解决,bitmap基本思想是一位表示一个整数,比如我们有6个数据:
7 3 1 5 6 4
假设bitmap容量为8,当插入7时 bit[7]=1,一次类推
bit[3]=1
bit[1]=1
bit[5]=1
......
bit[4]=1
这样我们查询5,只需要查看bit[5]==1侧存在,否则不存在。
这样一个位代表一个数据,那40一个数据大概要40*10^8*bit = 0.5GB,满足内存要求。
首先我们用int来表示:int bmap[1+N/32]; //N是总数,N=40亿,一个int32bit
然后我们插入一个整数val,要先计算val位于数组bmap中的索引:index = val/32;
比如整数33,index=33/32=1,第33位于数组中的index=1
比如整数67,index=67/32=2,位于数组中index=2
然后在计算在这个index中的位置,因为数组中的每个元素有32位
33,index=1,在1中的位置为33%32=1
67,index=2,在2中的位置为67%32=3
然后就是标识这个位置为1:
bmap[val/32] |= (1<<(val%32));
33: bmap[1] != (1<<1);//xxxxxx1x,红丝位置被置为1
67: bmap[2] != (1<<3);//xxxx1xxx
代码:
1 2 3 4 5 |
|
怎样检测整数是否存在?
比如我们检测33,同样我们需要计算index,以及在index元素中的位置
33: index = 1, 在bmap[1]中的位置为 1,只需要检测这个位置是否为1
bmp[1] &(1<<1),这样是1返回true,否侧返回false
67:bmp[2]&(1<<3)
127:bmp[3]&(1<<31)
代码:
1 2 3 4 5 |
|
下面是完整测试代码:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
|
现在我们来看如果内存要求是10MB呢?
这当然不能用bitmap来直接计算。因为从40亿数据找出一个不存在的数据,我们可以将这么多的数据分成许
多块, 比如每一个块的大小是1000,那么第一块保存的就是0到999的数,第2块保存的就是1000 到1999的数……
实际上我们并不保存这些数,而是给每一个块设置一个计数器。 这样每读入一个数,我们就在它所在的块对应的计数器加1。
处理结束之后, 我们找到一个块,它的计数器值小于块大小(1000), 说明了这一段里面一定有数字是文件中所不包含的。然后我们单独处理
这个块即可。接下来我们就可以用Bit Map算法了。我们再遍历一遍数据, 把落在这个块的数对应的位置1(我们要先把这个数
归约到0到blocksize之间)。 最后我们找到这个块中第一个为0的位,其对应的数就是一个没有出现在该文件中的数。)
代码如下(一个测试的代码):
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 |
|