【转】 海量数据处理系列----C++中Bitmap算法的实现

最新推荐文章于 2023-11-24 11:20:45 发布
最新推荐文章于 2023-11-24 11:20:45 发布
阅读量247 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011252067/article/details/77716585
版权
通过Bitmap算法，高效解决统计8位电话号码个数和2.5亿不重复整数数量的问题。只需少量内存，如99M位表示所有8位数，或用2bit映射记录整数出现次数。
摘要由CSDN通过智能技术生成
bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。

     适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下
基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码
扩展：bloom filter可以看做是对bit-map的扩展
问题实例：
1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。
2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。
下面是一个简单的Bitmap的实现：
View Code 
 1     #include "stdafx.h"  
 2     #include <iostream>  
 3     using namespace std;  
 4       
 5     char *g_bitmap = NULL;    
 6     int
最低0.47元/天 解锁文章
xsc_cc
关注
海量数据处理之BitMap
bo_peter的博客
07-09 209
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 数据查询、去重、排序效果不错，十分节省内存 ...
c++编程中的bitmap大全
10-10
在C++ MFC中你是不是碰到没有合适的bitmap的问题？那么这里包含了你在c++编程中需要用到的各种类型的bitmap
海量数据处理系列----C++中Bitmap算法的实现
QuitePig的专栏
08-27 1026
bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。      适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下 基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码 扩展：bloom filter可以
C++　bitmap
MTT_SKY
07-15 1087
题目 有一个数组，里面的数在1到N之间，N最大为32000.数组中可能有重复的元素(即有的元素 存在2份)，你并不知道N是多少。给你4KB的内存，你怎么把数组中重复的元素打印出来。 解答 我们有4KB的内存，一共有4 * 210 * 8位，大于32000，所以我们可以用Bit Map 来做这道题目。题目很简单，不过我们可以把代码写得漂亮一些。 我们可以写一个Bit Map类来完成
bitmap算法 c++实现
hotcomputer的博客
01-24 311
class BitMap { BitMap() { memset(pArray,0,sizeof(0)); } public: /** * 设置所在的bit位为1 * @param n */ void addValue(int n){ //row = n / 32 求十进制数在数组a中的下标 int row = n &amp;gt;&amp;gt; 5; //相当于 n % 32 求十进制数在数组a[i]中的下标...
海量数据处理系列之:用C++实现Bitmap算法
01-01
bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 适用范围：可进行数据的快速查找，...
C++海量数据处理——topk和查重问题分析
weixin_43825537的博客
06-10 1266
b
海量图片相似度算法软件,海量数据相似度匹配
ynca67269的博客
09-09 426
所以目前最成熟的编程算法也就是识别一下字母和数字（比如谷歌可以识别照片上的门牌号和街道号），人脸识别也只是拿几个标本部位来大致判断相似度（眼睛的大小，鼻梁的高度，脸颊的宽瘦和比例），以人眼的标准完整的去比较两张图片是否一样是很难的，目前应该还没有这方面成熟的技术。还有一方面就是基于图像内容的图像检索，也就是通常说的以图检图。这种思想是基于简单的数学上的向量之间的差异来进行图像相似程度的度量，这种方法是目前用的比较多的一种方法，第一，直方图能够很好的归一化，比如通常的256个bin条的。
一个免费的C++ Bitmap 操作类
09-06
这是一个用于C++ MFC开发的Bitmap图片操作类，在文件中叫CBitmapEx,可用于放大，缩小，翻转，过渡和其他有用的功能，有兴趣的朋友可以下载看看。 部分public method: // // void Create(long width, long height); // void Create(CBitmapEx& bitmapEx); // void Load(LPTSTR lpszBitmapFile); // void Save(LPTSTR lpszBitmapFile); // void Scale(long horizontalPercent=100, long verticalPercent=100); // void Rotate(long degrees=0, _PIXEL bgColor=_RGB(0,0,0)); // void FlipHorizontal(); // void FlipVertical(); // void MirrorLeft(); // void MirrorRight(); // void MirrorTop(); // void MirrorBottom(); // void Clear(_PIXEL clearColor=_RGB(0,0,0)); // void Negative(); // void Grayscale(); // void Sepia(long depth=34); // void Emboss(); // void Engrave(); // void Pixelize(long size=4); // void Draw(HDC hDC); // void Draw(long dstX, long dstY, long width, long height, // CBitmapEx& bitmapEx, long srcX, long srcY); // void Draw(long dstX, long dstY, long width, long height, // CBitmapEx& bitmapEx, long srcX, long srcY, long alpha); // void Draw(long dstX, long dstY, long dstWidth, long dstHeight, // CBitmapEx& bitmapEx, long srcX, long srcY, long srcWidth, long srcHeight); // void Draw(long dstX, long dstY, long dstWidth, long dstHeight, CBitmapEx& bitmapEx, // long srcX, long srcY, long srcWidth, long srcHeight, long alpha); // void DrawTransparent(long dstX, long dstY, long width, long height, // CBitmapEx& bitmapEx, long srcX, long srcY, _PIXEL transparentColor=_RGB(0,0,0)); // void DrawTransparent(long dstX, long dstY, long width, long height, // CBitmapEx& bitmapEx, long srcX, long srcY, long alpha, // _PIXEL transparentColor=_RGB(0,0,0)); // void DrawTransparent(long dstX, long dstY, long dstWidth, long dstHeight, // CBitmapEx& bitmapEx, long srcX, long srcY, long srcWidth, long srcHeight, // _PIXEL transparentColor=_RGB(0,0,0)); // void DrawTransparent(long dstX, long dstY, long dstWidth, long dstHeight, // CBitmapEx& bitmapEx, long srcX, long srcY, long srcWidth, long srcHeight, // long alpha, _PIXEL transparentColor=_RGB(0,0,0)); // LPBI
使用C/C++读取BITMAP的内容
04-15
This program is designed specifically for reading 24bit Bitmap, other bitmap varying the bits per pixel needs altering. The structure's detailed information can be found at Wikipedia's BMP file format entry.
C++位图（Bitmap）
最新发布
chen_ever的博客
11-24 2868
首先普及一下将要用到的逻辑运算符号：【与】运算符号为 & ，运算法则为遇0得0。也就是说只要有0，结果即为0。【或】运算符号为 | ，就是一个竖线，运算法则为遇1得1。也就是说，只要有1，结果就为1。【非】预算符号为 ~，就是一个波浪线，运算法则为按位取反，也就是遇1取0,遇0取1，即 ~1 = 0 , ~0 = 1;【异或】运算符号为 ^，就是一个乘方符号，运算法则为相同取0，不同取1。异或运算，关键在异上面，异为1，否则为0。 位图 (Bitmap) 是一种基于位操作的数据结构，用于表示一
C++位图详解（BitMap）
热门推荐
ArchyLi
11-19 1万+
题目：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快 速判断一个数是否在这40亿个数中。 【腾讯】思路：这道题首先要判断40亿个不重复的无符号整数究竟占多大的内存，因为太大的内存我们无法加载到现有的计算机中。一个整数是4个字节，40亿个整数就是160亿个字节，也就相当于16G内存，就一般的计算机而言很难实现这个加载，所以我们可以采取以下两种方案，一种是分割，一种是位图。方法：①分割
海量数据处理算法—Bit-Map
weixin_33804990的博客
08-15 197
2019独角兽企业重金招聘Python工程师标准>>> ...
Bitmap C++ 实现
u012668513的博客
05-02 1971
位图数据结构   该数据结构描述了一个有限定义域内的稠密集合，其中的每一个元素最多出现一次并且没有其他任何数据与该元素相关联。即使这些条件没有完全满足（例如，存在重复元素或额外的数据），也可以用有限定义域内的键作为一个表项更复杂的表格索引。 1.什么是bitmap?   所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数...
BitMap的C++实现
xy913741894的博客
02-21 6706
BitMap算法的实现 所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 我们知道，一般可以直接操控的最小的单位是字节，比如在C/C++中，定义一个类型char，对它进行各种操作。然后很多时候，面对一个很大数据量，且我们仅仅希望知道某个数是否存在，我们不妨可以（有时候是必须）使用Bit
用C++实现bitmap
03-16 9035
位图数据结构  该数据结构描述了一个有限定义域内的稠密集合，其中的每一个元素最多出现一次并且没有其他任何数据与该元素相关联。即使这些条件没有完全满足（例如，存在重复元素或额外的数据），也可以用有限定义域内的键作为一个表项更复杂的表格索引。1.什么是bitmap?   所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在
c++ 实现 Bitmap
qq_46664080的博客
05-04 1164
bit即比特，是计算机系统里边数据的最小单位，8个bit即为一个Byte。一个bit的值，要么是0，要么是1。bitmap可以理解为通过一个bit数组来存储特定数据的一种数据结构；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值