bitmap与bloomfilter（比较清晰的讲解）

最新推荐文章于 2024-07-31 11:17:00 发布
最新推荐文章于 2024-07-31 11:17:00 发布
阅读量4.2k 收藏 1
点赞数 1
分类专栏： hadoop 文章标签： bitmap bloomfilter

转载地址：http://blog.csdn.net/gugemichael/article/details/8013150

今天，有个同学向我咨询大数据的一些面试题，其中一类比较有代表性比如判断是否在集合内，比如10个url，判断一个url是否在集合内，还比如有个1~100万个连续无序数字，随机取出里面的N个，求这N个数字等等。这类问题都需要一个大的数据集合，而且每个数据单元都很小，比如一个int 。很大程度上，这类问题可以用Bitmap或者Bloomfilter来做，基本思想就是开辟一块大内存，然后利用一个byte里的8个bit来实现按位标记元素。因为地址空间都是连续的，所以查找都是O(1)的。这里需要说的是，BloomFilter判断属不属于集合，在理论上是存在误判的，如果要求数据100%正确，则不要使用BloomFilter。

       进入正题，Bitmap正如其名，就是一块内存，内存是一个一个连续的位图，每一个位通过0、1代表一个元素的有无。比如数字为N的数字对应到Bitmap就是第N/8个byte的字节，和第N%8个01位，这么映射。所以通过检测对应的bit位即可知道数据在不在集合内，而且能保证正确。直接上代码 :

[cpp]  view plain  copy
 print ?
  1. #include <cstdlib>  
  2. #include <iostream>  
  3. #include <algorithm>  
  4. #include <vector>  
  5. #include <stddef.h>  
  6.   
  7. #include <memory.h>  
  8.   
  9. #define BYTES 12500  
  10.   
  11. int main()  
  12. {  
  13.     srand((unsigned int)time(NULL));      
  14.   
  15.     size_t total_numbers = 100000;  
  16.   
  17.     typedef std::vector<int> SetContainer;  
  18.     typedef std::vector<int>::iterator SetIterator;  
  19.   
  20.     SetContainer numbers;  
  21.     numbers.reserve(total_numbers);  
  22.   
  23.     int r1 = rand() % total_numbers;  
  24.     int r2 = r1 + 1000;  
  25.   
  26.     // generate total_numbers-2 numbers  
  27.     for(int i=0;i!=total_numbers;++i) {  
  28.         if (i!=r1 && i!= r2)  
  29.             numbers.push_back(i);  
  30.     }  
  31.   
  32.     std::cout<<"["<<numbers.size()<<"] insert ok";      
  33.     std::cin.get();  
  34.   
  35.     // shuffle  
  36.     std::random_shuffle(numbers.begin(),numbers.end());  
  37.   
  38.     unsigned char *bitmap = (unsigned char*)malloc(BYTES);  
  39.     memset(bitmap,0,BYTES);  
  40.     for (SetIterator itr=numbers.begin();itr!=numbers.end();++itr) {  
  41.         ptrdiff_t forward = (*itr) / 8;  
  42.         size_t offset = (*itr) % 8;  
  43.         bitmap[forward] |= (0x80UL >> offset);   
  44.     }  
  45.   
  46.     std::cout<<"Bitmap build ok";   
  47.     std::cin.get();  
  48.   
  49.     for (int j=0;j!=BYTES;++j) {  
  50.         if (bitmap[j]!=0xFF) {  
  51.             std::cout<<"FIND ";  
  52.             unsigned long num = j * 8;  
  53.             unsigned char check = bitmap[j];  
  54.             unsigned char bit = 0;  
  55.             while(bit!=8) {  
  56.                 if (0 == (check&(0x80UL>>bit)))  
  57.                     std::cout<<"["<<(num+bit)<<"] ";  
  58.                 bit++;  
  59.             }  
  60.             std::cout<<std::endl;  
  61.         }  
  62.     }  
  63.   
  64.     std::cout<<"DONE";  
  65.   
  66.     std::cin.get();  
  67.   
  68.     free(bitmap);  
  69.   
  70.     return 0;  
  71. }  

      BloomFilter，是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，适合与比Bitmap更多量的数据，通过图片看一下方法流程 :
      1、初始化一块大内存用于存放01标志位：
       

      2、通过使用N个hash函数(N==3)，对同一个值Hash多次哈希，然后同Bitmap一样映射到Bloomfilter中去，

        
 
      3、检测时，同样通过N次哈希，在映射的位中去找，并要保持映射的每一位都是1的情况下，即检测处包含关系。正如前面说的，BloomFilter可能有误判，误判的几率取决于Hash函数的个数，Hash函数冲撞的概率，以及Bloomfilter开开辟的内存大小。Hash函数的个数要取个合适的值，大了会造成效率问题，少了可能误判高，理论5~10个之间，工程里用3~5个，具体多少可以视需求而定。

       

        代码 ：

    

[cpp]  view plain  copy
 print ?
  1. #include <cstdlib>  
  2. #include <cstdio>  
  3. #include <iostream>  
  4. #include <algorithm>  
  5. #include <vector>  
  6. #include <stddef.h>  
  7.   
  8. #include <memory.h>  
  9.   
  10. #define BLOOM (1024UL*1024UL*1024UL) // 1G  
  11. #define HASH_RESULT 3  
  12.   
  13. typedef unsigned char BloomFilter;  
  14.   
  15. typedef struct __hash_result {  
  16.     size_t N;   // how many result  
  17.     size_t result[0];  
  18. }HashResult;  
  19.   
  20. /* Brian Kernighan & Dennis Ritchie hashfunction , used in Java */  
  21. size_t BKDR_hash(const char* str)    
  22. {    
  23.     register size_t hash = 0;    
  24.     while (size_t ch = (size_t)*str++)  {           
  25.         hash = hash * 131 + ch;   
  26.     }  
  27.     return hash;  
  28. }  
  29.   
  30. /* Unix System Hashfunction , also used in Microsoft's hash_map */  
  31. size_t FNV_hash(const char* str)    
  32. {    
  33.     if(!*str)  
  34.         return 0;    
  35.     register size_t hash = 2166136261;    
  36.     while (size_t ch = (size_t)*str++) {    
  37.         hash *= 16777619;    
  38.         hash ^= ch;    
  39.     }    
  40.     return hash;    
  41. }    
  42.   
  43. /* Donald Knuth Hashfunction , presented in book <Art of Computer Programming> */  
  44. size_t DEK_hash(const char* str)    
  45. {    
  46.     if(!*str)    
  47.         return 0;    
  48.     register size_t hash = 1315423911;    
  49.     while (size_t ch = (size_t)*str++)  {    
  50.         hash = ((hash << 5) ^ (hash >> 27)) ^ ch;    
  51.     }    
  52.     return hash;    
  53. }    
  54.   
  55. typedef size_t (*HASH_FUNC)(const char*);  
  56.   
  57. HASH_FUNC HASH[] = {  
  58.     BKDR_hash,FNV_hash,DEK_hash  
  59. };  
  60.   
  61.   
  62. void bloom_filter_mark(BloomFilter* bf, const char* v)  
  63. {  
  64.     HashResult *hr = (HashResult*)calloc(1,sizeof(HashResult)+(sizeof(size_t)*HASH_RESULT));  
  65.   
  66.     for (int i=0;i!=HASH_RESULT;++i) {  
  67.         hr->result[i] = (HASH[i](v)) % BLOOM;  
  68.         // set the binary bit to 1  
  69.         bf[hr->result[i]/8] |= 0x80UL >> (hr->result[i]%8);  
  70.         //printf("**%lu|hash-%d[%lu]|offset[%X]\n",HASH[i](v),i,hr->result[i],bf[hr->result[i]/8]);  
  71.     }  
  72.   
  73.     free(hr);  
  74. }  
  75.   
  76. bool bloom_filter_check(BloomFilter* bf, const char* v)  
  77. {  
  78.     HashResult *hr = (HashResult*)calloc(1,sizeof(HashResult)+(sizeof(size_t)*HASH_RESULT));  
  79.   
  80.     size_t in = HASH_RESULT;  
  81.     for (int i=0;i!=HASH_RESULT;++i) {  
  82.         hr->result[i] = HASH[i](v) % BLOOM;  
  83.         //printf("**%lu|%X\n",hr->result[i],bf[hr->result[i]/8]);  
  84.         // check this bit is "1" or not  
  85.         if (bf[hr->result[i]/8] & (0x80UL >> (hr->result[i]%8)))  
  86.             in--;  
  87.     }  
  88.   
  89.     free(hr);  
  90.     return in == 0;  
  91.   
  92. }  
  93.   
  94. int main()  
  95. {  
  96. //  std::cout<<BKDR_hash("0")<<std::endl;  
  97. //  std::cout<<DEK_hash("0")<<std::endl;  
  98. //  std::cout<<FNV_hash("0")<<std::endl;  
  99.   
  100.     BloomFilter* bloom = new (std::nothrow) BloomFilter[BLOOM];  
  101.     if (NULL == bloom)  
  102.         printf("No Space to build BloomFilter\n"),exit(0);  
  103.   
  104.     printf("BloomFilter Calloc Memory Ok\n");  
  105.   
  106.     for(int i=0;i!=1000000;i++) {  
  107.         char buf[16] = {0};  
  108.         sprintf(buf,"%d",i);  
  109.         bloom_filter_mark(bloom,buf);  
  110.     }  
  111.     printf("BloomFilter Build Ok\n");  
  112.   
  113.     for(int i=999995;i!=1000010;i++) {  
  114.         char buf[16] = {0};  
  115.         sprintf(buf,"%d",i);  
  116.         if (bloom_filter_check(bloom,buf))  
  117.             printf("[FOUND] %d\n",i);  
  118.     }  
  119.   
  120.     delete bloom;  
  121.   
  122.     return 0;  
  123. }  


         以上就是解决大数据判断在不在集合的通用方法，特定场景可以做一些优化。大家可以思考一下，本文开头的10个数字取出两个的问题，如果不用bitmap或者bloomfilter，可以怎么解决？引导一下，可以把所有数字乘起来和加起来，再用10000的阶乘和总和去减一个，就得到两个方程 x+y = M; x*y= N;不过这需要用string大整数阶乘的问题，还有比较耗内存，大家可以思议考一下更好的。。。

ivysister
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis 特性&持久化&场景
qq_39712666的博客
09-22 157
非关系型数据库在大数据领域的应用非常广泛，比如之前说到的 HBase ，他能适用于很多的场景，解决各种大数据的难题，但是它不是万能的，磁盘 IO 是他的主要瓶颈，在实时性要求更高的场景下，内存数据库 Redis 就显现出了它的优势了，做过 web 开发的同学对 Redis 肯定不陌生，它丰富的数据结构和优秀的读写性能同样征服了大数据领域的开发者们。 本篇面试内容划重点：数据结构、持久化、高性能 你...
《后端架构师技术图谱》
weixin_70730532的博客
06-15 780
（Toc generated by simple-php-github-toc ）《java队列——queue详细分析》《LinkedList、ConcurrentLinkedQueue、LinkedBlockingQueue对比分析》每个节点最多有两个叶子节点。左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。二叉查找树（Binary Search Tree），也称有序二叉树（ordered binary tree）,排序二叉树（sorted binary tree）。MySQL是
大数据过滤及判断算法 -- Bitmap / Bloomfilter
曦轩 技术茶话小屋
09-24 1万+
今天，有个同学向我咨询大数据的一些面试题，其中一类比较有代表性比如判断是否在集合内，比如10个url，判断一个url是否在集合内，还比如有个1~100万个连续无序数字，随机取出里面的N个，求这N个数字等等。这类问题都需要一个大的数据集合，而且每个数据单元都很小，比如一个int 。很大程度上，这类问题可以用Bitmap或者Bloomfilter来做，基本思想就是开辟一块大内存，然后利用一个byte里
hutool学习第一天-bloomFilter
最新发布
u010913170的博客
07-31 617
布隆过滤器基础知识布隆过滤器的原理元素插入元素查询误判概率优点和缺点应用场景。
BitMap与 Bloom Filter
RichardGeek的博客
03-30 384
　一、问题引入　　 　　bitMap是位图，其实准确的来说，翻译成基于位的映射，举一个例子，有一个无序有界int数组{1,2,5,7},初步估计占用内存4*4=16字节，这倒是没什么奇怪的，但是假如有10亿个这样的数呢？10亿*4字节/(1024*1024*1024)=3.72G左右（1GB=1024MB 、1MB=1024KB 、1KB=1024B 、1B=8b）。如果这样的一个大的数据做查找...
BitMap和BloomFilter
T_tangcのblog
04-02 304
Mybitmap #include&lt;iostream&gt; #include&lt;vector&gt; using namespace std; class BitMap { public: BitMap(size_t range) { _bits.resize((range &gt;&gt; 3)+1,0);//(size,val) ...
大量数据去重：Bitmap和布隆过滤器(Bloom Filter)
热门推荐
zdxiq000的专栏
02-27 6万+
5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 在面试时遇到的问题，问题的解决方案十分典型，但对于海量数据处理接触少的同学可能一时也想不到什么好方案。介绍两个算法，对于空间的利用到达了一种极致，那就是Bitmap和布隆过滤器(Bloom Filter)。
【线性表与Python的其他数据结构】：集合、映射与线性表的融合之道
![【线性表与Python的其他数据...在本章中，我们将探讨数据结构的基础知识，并详细讲解线性表的实现。 ## 1.1 数据结构概述 数据结构通常分为两大类：基本数据结构和复合数据结构。基本数据结构包括数组、链表、栈、
神策数据关海南：营销策略引擎解读，以平台化构建营销新生态
神策数据
11-22 320
在神策 2021 数据驱动大会现场，神策营销云架构师关海南发表了题为《营销策略引擎（Express）的技术演进》的演讲。本文根据其演讲整理，核心内容如下： 营销中台下的策略引擎 营销策略引擎平台化 新一代流程画布 一、营销中台下的策略引擎 “中台”这个词在前两年比较热，这里我讲营销中台，一方面是从客户的架构视角出发，让营销系统能够发挥平台的价值，比如统一营销入口，提供标准 API 等；另一方面是从营销系统内部出发，基于丰富、多变的营销场景，企业对架构的解耦、业务架构和..
Java面试题整理
qq_41190170的博客
12-17 535
文章目录Java历史简述Java语言的特点 Java历史简述 1991 年Sun公司的James Gosling（詹姆斯•高斯林）等人开始开发名称为 Oak 的语言，希望专攻计算机在家电产品上的嵌入式应用（如电视机顶盒、面包烤箱、移动电话等)。 1995年将Oak语言更名为Java； 2009年，甲骨文公司宣布收购Sun公司。 Java语言的特点 面向对象（封装，继承，多态）； 平台无关性（ Java 虚拟机实现平台无关性，一次编译，到处运行）； 简单易学（与C语言的面向过程相比，Java的面向对象更接近
Bitmap和BloomFilter
一个菜鸟的博客
06-20 1582
题目 5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 1、Bitmap Bitmap又叫做位图，判断数组中的某位索引值下的位是否为1，来表示这个数是否存在。假如53存在，那么就将数组中的第53位置1。这样Bitmap极大地压缩了所需要的内存空间，并且还额外地完成了对原始大型数据的排序工作。使用位图可以大大节省...
[算法系列之十]大数据量处理利器：布隆过滤器
SmartSi
02-04 371
【引言】 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用...
关于bitmap，布隆过滤器
Danny_idea的博客
04-01 2843
什么是bit，什么是byte？ bit中文名称是位，音译“比特”，是用以描述电脑数据量的最小单位。在二进制数系统中，每个0或1就是一个位(bit)。bit 来自binary digit (二进制数字)，1byte=8bit，byte是计算机里面的基本单位，1mb=1024*1024bit。 假设当我们需要在一千万个整数（整数的范围在1-1亿之间）里面快速查找某个整数是否存在于其中的话，如...
BitMapBloomFilter
冷刀出鞘
02-08 499
BitMapBloomFilter filter = new BitMapBloomFilter(10); filter.add("123"); filter.add("abc"); filter.add("ddd"); System.out.println(filter.contains("abc"));//-true System.out.println(filter.contains("ab"));//-falae
Bitmap和Bloom Filiter(布隆过滤器)
weixin_43896829的博客
10-05 668
一、Bitmap Bitmap顾名思义，就是用bit来实现map的存储。 底层用map来实现对数据的存储，其使用一个bit位来标记某个元素的value,而key就是该元素。 举例： 以下的map就表示{1,2,4,6}这四个数 我们知道一个字节是8位，那如果要表示的数字超过了7，比如{12,13,15}该如何表示呢？ 其实只需要再开辟一个字节的map即可，如下图： 同理，我们可以用这种类似二维数组的表示法表示任意数字！！！ 并且，给定任意整数M，那么M/32就得到下标，M%32就知道它在此下标的哪个位置
基于Redis位图BitMap的布隆过滤器(附源码)
程序员小强的博客
12-05 2099
Redis的 bitmap 支持2^32大小，内存最大512MB，误判率万分之一 ，差不多可以放下2亿左右的数据，性能高，空间占用率极小，省去了大量无效的数据库连接。可用于实现用户签到、用户日活、在线状态、布隆过滤器等。 本文主要讲解基于Redis的 Bitmap (位图) 实现布隆过滤器，可用于防止缓存穿透等场景。 1.主要涉及知识点 jedis连接池 pipeline redis管道技术，也叫流水线 位图bitMap 2.布隆过滤器代码实现 注：这里仅列出了部分核心代码实现，详见文末源码链接 /**
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值