海量数据处理系列----C++中Bitmap算法的实现

       bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。

     适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下

基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码

扩展：bloom filter可以看做是对bit-map的扩展

问题实例：

1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。

8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。

2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。

下面是一个简单的Bitmap的实现：

[cpp] view plain copy

1. #include "stdafx.h"  
2. #include <iostream>  
3. using namespace std;  
4.   
5. char *g_bitmap = NULL;    
6. int g_size = 0;    
7. int g_base = 0;   
8.   
9. //功能：初始化bitmap   
10. //参数： size：bitmap的大小，即bit位的个数   
11. //      start：起始值   
12. //返回值：0表示失败，1表示成功   
13. int bitmap_init(int size, int start)    
14. {    
15.     g_size = size/8+1;  
16.     g_base = start;  
17.     g_bitmap = new char[g_size];    
18.     if(g_bitmap == NULL)  
19.     {  
20.         return 0;    
21.     }  
22.     memset(g_bitmap, 0x0, g_size);    
23.     return 1;    
24. }    
25.   
26. //功能：将值index的对应位设为1   
27. //index:要设的值   
28. //返回值：0表示失败，1表示成功   
29. int bitmap_set(int index)    
30. {    
31.         int quo = (index-g_base)/8 ;  //确定所在的字节  
32.         int remainder = (index-g_base)%8;  //字节内的偏移    
33.         unsigned char x = (0x1<<remainder);      
34.         if( quo > g_size)    
35.                 return 0;  
36.         g_bitmap[quo] |= x;   //所在字节内的特定位置为1    
37.         return 1;     
38. }    
39.    
40. //功能：取bitmap第i位的值   
41. //i：待取位   
42. //返回值：-1表示失败，否则返回对应位的值   
43. int bitmap_get(int i)    
44. {    
45.     int quo = (i)/8 ;    
46.     int remainder = (i)%8;    
47.     unsigned char x = (0x1<<remainder);    
48.     unsigned char res;    
49.     if( quo > g_size)    
50.         return -1;    
51.     res = g_bitmap[quo] & x;    
52.     return res > 0 ? 1 : 0;     
53. }    
54.   
55.    
56.  //功能：返回index位对应的值     
57. int bitmap_data(int index)    
58. {    
59.     return (index + g_base);    
60. }    
61.   
62. //释放内存   
63. int bitmap_free()    
64. {    
65.     delete [] g_bitmap;  
66.     return 0;  
67. }      
68.    
69. int _tmain(int argc, _TCHAR* argv[])   
70. {    
71.     int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100};    
72.     int i;    
73.     bitmap_init(100, 0);    
74.     for(i=0; i<20; i++)  
75.     {  
76.         bitmap_set(a[i]);    
77.     }  
78.     for(i=0; i<=100; i++)    
79.     {    
80.         if(bitmap_get(i) > 0 )    
81.             cout << bitmap_data(i)<< " ";  
82.     }    
83.     cout << endl;    
84.     bitmap_free();   
85.     return 0;    
86. }    

【问题实例】

1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。

8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。 （可以理解为从0-99 999 999的数字，每个数字对应一个Bit位，所以只需要99M个Bit==1.2MBytes，这样，就用了小小的1.2M左右的内存表示了所有的8位数的电话）

2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上，在遍历这些数的时候，如果对应位置的值是0，则将其置为1；如果是1，将其置为2；如果是2，则保持不变。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个 2bit-map，都是一样的道理。