详解bitmap算法

转载出处：http://www.cnblogs.com/huangxincheng/archive/2012/12/06/2804756.html
http://blog.csdn.net/hackerwin7/article/details/17585257
本文为两篇文章的综合版，方便理解！
在所有具有性能优化的数据结构中，我想大家使用最多的就是hash表，是的，在具有定位查找上具有O(1)的常量时间，多么的简洁优美，

但是在特定的场合下：

①：对10亿个不重复的整数进行排序。

②：找出10亿个数字中重复的数字。

当然我只有普通的服务器，就算2G的内存吧，在这种场景下，我们该如何更好的挑选数据结构和算法呢？

一：问题分析

 这年头，大牛们写的排序算法也就那么几个，首先我们算下放在内存中要多少G: (10亿 * 32)/(1024*1024*1024*8)=3.6G，可怜

的2G内存直接爆掉，所以各种神马的数据结构都玩不起来了，当然使用外排序还是可以解决问题的，由于要走IO所以暂时剔除，因为我们

要玩高性能，无望后我们想想可不可以在二进制位上做些手脚？

比如我要对{1,5,7,2}这四个byte类型的数字做排序，该怎么做呢？我们知道byte是占8个bit位，其实我们可以将数组中的值作为bit位的

key，value用”0，1“来标识该key是否出现过？下面看图：

从图中我们精彩的看到，我们的数组值都已经作为byte中的key了，最后我只要遍历对应的bit位是否为1就可以了，那么自然就成有序数组了。

可能有人说，我增加一个13怎么办？很简单，一个字节可以存放8个数，那我只要两个byte就可以解决问题了。

可以看出我将一个线性的数组变成了一个bit位的二维矩阵，最终我们需要的空间仅仅是:3.6G/32=0.1G即可，要注意的是bitmap排序不

是N的，而是取决于待排序数组中的最大值，在实际应用上关系也不大，比如我开10个线程去读byte数组，那么复杂度为:O(Max/10)。

二：代码

我想bitmap的思想大家都清楚了，这一次又让我们见证了二进制的魅力，当然这些移位都是位运算的工作了，熟悉了你就玩转了。

1:Clear方法（将数组的所有bit位置0）

比如要将当前4对应的bit位置0的话，只需要1左移4位取反与B[0] & 即可。

#region 初始化所用的bit位为0
 2         /// <summary>
 3         /// 初始化所用的bit位为0
 4         /// </summary>
 5         /// <param name="i"></param>
 6         static void Clear(byte i)
 7         {
 8             //相当于 i%8 的功能
 9             var shift = i & 0x07;
10 
11             //计算应该放数组的下标
12             var arrindex = i >> 3;
13 
14             //则将当前byte中的指定bit位取0，&后其他对方数组bit位必然不变，这就是 1 的妙用
15             var bitPos = ~(1 << shift);
16 
17             //将数组中的指定bit位置一  “& 操作”
18             a[arrindex] &= (byte)(bitPos);
19         }
20         #endregion

2:Add方法（将bit置1操作）

同样也很简单，要将当前4对应的bit位置1的话，只需要1左移4位与B[0] | 即可。

#region 判断当前的x在数组的位中是否存在
 2         /// <summary>
 3         ///判断当前的x在数组的位中是否存在
 4         /// </summary>
 5         /// <param name="i"></param>
 6         /// <returns></returns>
 7         static bool Contain(byte i)
 8         {
 9             var j = a[i >> 3] & (1 << (i & 0x07));
10 
11             if (j == 0)
12                 return false;
13             return true;
14         }
15         #endregion

这个是详解版，下面给出一个比较简洁并且带排序的完整程序

#include <stdio.h>  

#define BITSPERWORD 32  
#define SHIFT 5  
#define MASK 0x1F  
#define N 10000000  

int a[1 + N/BITSPERWORD];//申请内存的大小  

//set 设置所在的bit位为1  
//clr 初始化所有的bit位为0  
//test 测试所在的bit为是否为1  

void set(int i) {        a[i>>SHIFT] |=  (1<<(i & MASK)); }  
void clr(int i) {        a[i>>SHIFT] &= ~(1<<(i & MASK)); }  
int  test(int i){ return a[i>>SHIFT] &   (1<<(i & MASK)); }  

int main()  
{   int i;  
    for (i = 0; i < N; i++)  
        clr(i);    
    while (scanf("%d", &i) != EOF)  
        set(i);  
    for (i = 0; i < N; i++)  
        if (test(i))  
            printf("%d\n", i);  

    return 0;  
}

解析本例中的void set(int i) { a[i>>SHIFT] |= (1<<(i & MASK)); }

1.i>>SHIFT：
其中SHIFT=5，即i右移5为，2^5=32,相当于i/32，即求出十进制i对应在数组a中的下标。比如i=20，通过i>>SHIFT=20>>5=0 可求得i=20的下标为0；

2.i & MASK：
其中MASK=0X1F,十六进制转化为十进制为31，二进制为0001 1111，i&（0001 1111）相当于保留i的后5位。

比如i=23，二进制为：0001 0111，那么
0001 0111
& 0001 1111 = 0001 0111 十进制为：23
比如i=83，二进制为：0000 0000 0101 0011，那么
0000 0000 0101 0011
& 0000 0000 0001 0000 = 0000 0000 0001 0011 十进制为：19

i & MASK相当于i%32。

3.1<<(i & MASK)
相当于把1左移 (i & MASK)位。
比如(i & MASK)=20，那么i<<20就相当于：
0000 0000 0000 0000 0000 0000 0000 0001 >>20
=0000 0000 0000 1000 0000 0000 0000 0000

4.void set(int i) { a[i>>SHIFT] |= (1<<(i & MASK)); }等价于：
void set(int i)
{
a[i/32] |= (1<<(i%32));
}