数据结构:位图法

转载 2016年06月01日 14:06:14
已移到:http://www.iteblog.com/archives/148

一、定义

       位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bitset容器,其实就是位图法,引用bitset介绍:
A bitset is a special container class that is designed to store bits (elements with only two possible values: 0 or 1,true or false, ...).The class is very similar to a regular array, but optimizing for space allocation: each element occupies only one bit (which is eight times less than the smallest elemental type in C++: char).Each element (each bit) can be accessed individually: for example, for a given bitset named mybitset, the expression mybitset[3] accesses its fourth bit, just like a regular array accesses its elements.

二、数据结构

unsigned int bit[N];
在这个数组里面,可以存储 N * sizeof(int) * 8个数据,但是最大的数只能是N * sizeof(int)  * 8 - 1。假如,我们要存储的数据范围为0-15,则我们只需要使得N=1,这样就可以把数据存进去。如下图:

数据为【5,1,7,15,0,4,6,10】,则存入这个结构中的情况为

三、相关操作

1,写入数据

定义一个数组: unsigned char bit[8 * 1024];这样做,能存 8K*8=64K 个 unsigned short 数据。bit 存放的字节位置和位位置(字节 0~8191 ,位 0~7 )

比如写 1234 ,字节序: 1234/8 = 154; 位序: 1234 &0b111 = 2 ,那么 1234 放在 bit 的下标 154 字节处,把该字节的 2 号位( 0~7)置为 1

字节位置: int nBytePos =1234/8 = 154;

位位置:   int nBitPos = 1234 & 7 = 2;

  1. // 把数组的 154 字节的 2 位置为 1  
  2. unsigned short val = 1<<nBitPos;  
  3. bit[nBytePos] = bit[nBytePos] |val;  // 写入 1234 得到arrBit[154]=0b00000100  

  再比如写入 1236 ,

字节位置: int nBytePos =1236/8 = 154;

位位置:   int nBitPos = 1236 & 7 = 4

  1. // / 把数组的 154 字节的 4 位置为 1  
  2. val = 1<<nBitPos;  
  3. arrBit[nBytePos] = arrBit[nBytePos] |val;  // 再写入 1236 得到arrBit[154]=0b00010100  
函数实现:
  1. #define SHIFT 5    
  2. #define MAXLINE 32    
  3. #define MASK 0x1F    
  4. void setbit(int *bitmap, int i){    
  5.     bitmap[i >> SHIFT] |= (1 << (i & MASK));    
  6. }  

2,读指定位

  1. bool getbit(int *bitmap1, int i){    
  2.     return bitmap1[i >> SHIFT] & (1 << (i & MASK));    
  3. }   

四、位图法的缺点

  1. 可读性差
  2. 位图存储的元素个数虽然比一般做法多,但是存储的元素大小受限于存储空间的大小。位图存储性质:存储的元素个数等于元素的最大值。比如, 1K 字节内存,能存储 8K 个值大小上限为 8K 的元素。(元素值上限为 8K ,这个局限性很大!)比如,要存储值为 65535 的数,就必须要 65535/8=8K 字节的内存。要就导致了位图法根本不适合存 unsigned int 类型的数(大约需要 2^32/8=5 亿字节的内存)。
  3. 位图对有符号类型数据的存储,需要 2 位来表示一个有符号元素。这会让位图能存储的元素个数,元素值大小上限减半。 比如 8K 字节内存空间存储 short 类型数据只能存 8K*4=32K 个,元素值大小范围为 -32K~32K 。

五、位图法的应用

  1、给40亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中
  首先,将这40亿个数字存储到bitmap中,然后对于给出的数,判断是否在bitmap中即可。
2、使用位图法判断整形数组是否存在重复
      遍历数组,一个一个放入bitmap,并且检查其是否在bitmap中出现过,如果没出现放入,否则即为重复的元素。
       3、使用位图法进行整形数组排序
      首先遍历数组,得到数组的最大最小值,然后根据这个最大最小值来缩小bitmap的范围。这里需要注意对于int的负数,都要转化为unsigned int来处理,而且取位的时候,数字要减去最小值。
       4、在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数
      参考的一个方法是:采用2-Bitmap(每个数分配2bit,00表示不存在,01表示出现一次,10表示多次,11无意义)。其实,这里可以使用两个普 通的Bitmap,即第一个Bitmap存储的是整数是否出现,如果再次出现,则在第二个Bitmap中设置即可。这样的话,就可以使用简单的1- Bitmap了。

基于位示图法的排序

基于位示图法的排序@(算法学习)–算法思路来自《编程珠玑》文中提及这个算法的场景是对磁盘排序,1000万级别的数据量,虽然每条数据只有7B(Byte),总量却可以达到:7000万B,也就是差不多:8....
  • u011240016
  • u011240016
  • 2016年11月07日 13:54
  • 464

海量数据处理——位图法bitmap

一、定义        位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个b...
  • yangquanhui1991
  • yangquanhui1991
  • 2016年08月10日 15:58
  • 806

位图法浅析

1、原理 位图是通过将数组下标与应用中的一些值关联映射,数组中该下标所指定的位置上的元素可以用来标识应用中值的情况(是否存在或者数目 或者计数等),位图数组中每个元素在内存中占用1位,所以可以节...
  • fengqiaojiangshui
  • fengqiaojiangshui
  • 2015年04月14日 21:34
  • 2002

位示图用法的总结

今天在复习的过程中,遇到了海量数据处理问题,这种问题是一种常见的TOP K 问题,处理方法比较固定就是考虑两种情况,一种情况是内存中能够将数据全部存储下来,另一种情况是不能将数据全部存储下来。对于第一...
  • apacat
  • apacat
  • 2016年07月24日 19:03
  • 844

位图法JAVA

位图法 bit-map(位图)法基本原理是使用位数字来表示某些元素是否存在,如8位电话号码中查重复号码,它适用于海量数据的快速查找、判重、删除等。 具体而言,位图是一个N位长的串,我们可用int[...
  • qfzxhy
  • qfzxhy
  • 2017年02月09日 18:26
  • 1067

[整理]数据结构----位图法

一、定义        位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个b...
  • wangwenwen
  • wangwenwen
  • 2014年01月17日 11:20
  • 577

大数据之位图法简单实现

所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 举个栗子,给定40亿个整型数据,现在给一个整数,要求判断这个数在不...
  • Korey_sparks
  • Korey_sparks
  • 2016年09月12日 13:55
  • 437

【转】数据结构:位图法

一、定义        位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个b...
  • q277055799
  • q277055799
  • 2012年12月05日 10:52
  • 496

大数据常用技巧之位图法

大数据常用技巧之位图法介绍位图的基本概念是用一个位(bit)来标记某个数据的存放状态,由于采用了位为单位来存放数据,所以节省了大量的空间。举个具体的例子,在Java中一般一个int数字要占用32位,如...
  • u013291394
  • u013291394
  • 2015年12月07日 21:27
  • 3028

数据结构:位图法(bitmap||BMP)

一、定义        位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bi...
  • u011165578
  • u011165578
  • 2013年11月02日 16:44
  • 419
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:数据结构:位图法
举报原因:
原因补充:

(最多只允许输入30个字)