002 bitmap海量数据的快速查找和去重

题目描述

给你一个文件，里面包含40亿个整数，写一个算法找出该文件中不包含的一个整数， 假设你有1GB内存可用。

如果你只有10MB的内存呢？

对于40亿个整数，如果直接用int数组来表示的大约要用40*10^8*4B=16GB,超出了内存要求，这里

我们可以用bitmap来解决，bitmap基本思想是一位表示一个整数，比如我们有6个数据：

7   3  1  5  6  4 

假设bitmap容量为8，当插入7时 bit[7]=1,一次类推

bit[3]=1

bit[1]=1

bit[5]=1

......

bit[4]=1

这样我们查询5，只需要查看bit[5]==1侧存在，否则不存在。

这样一个位代表一个数据，那40一个数据大概要40*10^8*bit = 0.5GB,满足内存要求。

首先我们用int来表示：int  bmap[1+N/32]; //N是总数，N=40亿，一个int32bit

然后我们插入一个整数val，要先计算val位于数组bmap中的索引:index = val/32;

比如整数33，index=33/32=1,第33位于数组中的index=1

比如整数67，index=67/32=2,位于数组中index=2

然后在计算在这个index中的位置，因为数组中的每个元素有32位

33，index=1，在1中的位置为33%32=1

67，index&#