使用bitmap处理海量数据

bitmap是一个十分实用的结构。所谓的Bit-map就是用一个bit位来标记某个元素相应的Value， 而Key即是该元素。因为採用了Bit为单位来存储数据，因此在存储空间方面，能够大大节省。 
适用范围：可进行数据的高速查找。判重。删除，一般来说数据范围是int的10倍下面
基本原理及要点：使用bit数组来表示某些元素是否存在，比方8位电话号码

扩展：bloom filter能够看做是对bit-map的扩展

问题实例：
1)已知某个文件内包括一些电话号码，每一个号码为8位数字。统计不同号码的个数。
8位最多99 999 999。大概须要99m个bit，大概10几m字节的内存就可以。
2)2.5亿个整数中找出不反复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数就可以，0表示未出现。1表示出现一次，2表示出现2次及以上。

或者我们不用2bit来进行表示，我们用两个bit-map就可以模拟实现这个2bit-map。 

3）利用位图排序，时间复杂度为O（N），空间换时间！！

！

以下是一个简单的Bitmap的实现：

#include "stdafx.h"
#include <iostream>
using namespace std;
char *g_bitmap = NULL;  
int g_size = 0;  
int g_base = 0; 
//功能：初始化bitmap 
//參数： size：bitmap的大小。即bit位的个数 
//      start：起始值 
//返回值：0表示失败。1表示成功 
int bitmap_init(int size, int start)  
{  
 g_size = size/8+1;
 g_base = start;
 g_bitmap = new char[g_size];  
 if(g_bitmap == NULL)
 {
  return 0;  
 }
 memset(g_bitmap, 0x0, g_size);  
 return 1;  
}  
//功能：将值index的相应位设为1 
//index:要设的值 
//返回值：0表示失败，1表示成功 
int bitmap_set(int index)  
{  
     int quo = (index-g_base)/8 ;  //确定所在的字节
     int remainder = (index-g_base)%8;  //字节内的偏移  
     unsigned char x = (0x1<<remainder);    
     if( quo > g_size)  
          return 0;
     g_bitmap[quo] |= x;   //所在字节内的特定位置为1  
     return 1;   
}  

//功能：取bitmap第i位的值 
//i：待取位 
//返回值：-1表示失败。否则返回相应位的值 
int bitmap_get(int i)  
{  
 int quo = (i)/8 ;  
 int remainder = (i)%8;  
 unsigned char x = (0x1<<remainder);  
 unsigned char res;  
 if( quo > g_size)  
  return -1;  
 res = g_bitmap[quo] & x;  
 return res > 0 ?

1 : 0; } //功能：返回index位相应的值 int bitmap_data(int index) { return (index + g_base); } //释放内存 int bitmap_free() { delete [] g_bitmap; return 0; } int _tmain(int argc, _TCHAR* argv[]) { int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100}; int i; bitmap_init(100, 0); for(i=0; i<20; i++) { bitmap_set(a[i]); } for(i=0; i<=100; i++) { if(bitmap_get(i) > 0 ) cout << bitmap_data(i)<< " "; } cout << endl; bitmap_free(); return 0; }

转载于:https://www.cnblogs.com/gccbuaa/p/6944434.html