BitMap的原理和应用

最新推荐文章于 2025-03-26 14:02:53 发布
最新推荐文章于 2025-03-26 14:02:53 发布
阅读量867 收藏
点赞数
文章标签： bitmap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45626756/article/details/117111167
版权
BitMap的使用场景

bitmap一般用作大数据的去重，过滤，排序，以及用户画像中。
BloomFilter使用bitmap进行数据过滤以及近似去重，用户画像中使用bitmap记录一个标签对应的人群(bitmap可以很好的进行与或运算，快速计算出多个标签的人群)。
bitmap可以高效的计算与和或运算
在这里插入图片描述但是bitmap不能进行非运算，可以通过对一个全量的bitmap进行异或(^)运算实现。
在这里插入图片描述

原理实现

谷歌开源的EWAHCCompressBitMap实现了优化的bitmap。其对bitmap的空间存储实现进行了优化，通过long[]实现bitmap，每个原属，将long数组中的每个元素(word)分为了存储数据的word(LW)和存储跨度信息的word(RLW)，通过RLW节省了存储空间。
如下存储2、4、64、127、400000这几个uid只需要少量的word即可。对于这种稀疏的bitmap节省了大量的存储空间。
在这里插入图片描述

图解BitMap

Bitmap原理及应用场景
litlit023的专栏
07-11 441
目录 1. 应用场景 2. 参考资料 1. 应用场景 快速排序、快速查找、精准去重、 2. 参考资料 https://www.cnblogs.com/cjsblog/p/11613708.html
BitMap的原理以及运用
热门推荐
qq_34486648的博客
01-06 1万+
位图（Bitmap），即位（Bit）的集合，是一种数据结构，可用于记录大量的0-1状态，在很多地方都会用到，比如Linux内核（如inode，磁盘块）、Bloom Filter算法等，其优势是可以在一个非常高的空间利用率下保存大量0-1状态。 BitMap的原理 BitMap 的基本原理就是用一个bit 位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 举例：在Java里面一个int类型占4个字节，假如要对于10亿个int数据进行处理呢？10亿*4/1024
bitmap用途
u010246947的专栏
08-21 2170
bitmap是压缩存储的一个重要手段，往往在海量数据处理问题中出现到。 其基本原理：希望用每一位能代表一个数字，所以需要首先知道待处理数据的最大值，比如待处理的数据范围是0-1亿，那么申请一个数组，数组的大小为：1亿/32 + 1，最大值1亿会落在最后一个数组成员的第0位，0-1亿范围中的每个数字，根据其除以32的除数结果和余数，可知其落在哪个数组成员以及在该数组成员的哪一位，通过移位可以极快的
Bitmap和布隆过滤器实现数据去重
最新发布
2301_79422109的博客
03-26 562
使用bitmap：使用redis的bitmap实现，以业务标识为key，用户上线就将用户id(一般使用的是雪花算法生成)作为偏移量存入bitmap中，下线则将对应位置0，极大节省了内存，如果数据太大，可以考虑对位图进行分片。使用bitmap：每个用户都分配一个独立的bitmap，然后以功能上线日期为起始索引，后续位索引=当前日期-功能上线日期=天数。在变量QQ号时，将bitmap对应位索引的位置1，如果已经为1，则记录到日志中。缺点：使用的内存大于bitmap，存在误判率，不适合对误判率要求0的场景。
Bitmap的原理与用法
weixin_46374887的博客
02-17 1154
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。（PS：划重点 节省存储空间） 假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存 在Java中，int占4字节，1字节=8位（1 byte = 8 bit） 如果每个数字用int存储，那就是20亿个int，因而占用的空间约为 (2000000000*4/1024/1024/1024)≈7.45G 如
Bitmap数据结构的原理与使用
qq_34599449的博客
11-21 1546
Bitmap数据结构的原理与使用 参考： https://www.cnblogs.com/LBSer/p/3322630.html https://www.cnblogs.com/yangjiannr/p/da-shu-ju-chu-libitmap.html 最近在研究各种OLAP引擎的时候，发现很多地方都有使用Bitmap，特别是大数据领域，Bitmap有很多应用场景，而自身之前对这块只是稍有了解，并为做太多深入，因此进行整理分享。 1.Bitmap的概念 1.1 Bitmap的基本概念 [外链图片转存
理解BitMap算法的原理及应用
MayMatrix 的博客
06-11 1万+
前言 位图：一种常用的数据结构，代表了有限域中的稠集（dense set），每一个元素至少出现一次，没有其他的数据和元素相关联。在索引，数据压缩，海量数据处理等方面有广泛应用。 BitMap 的思想的和原理是很多算法的基础，比如 Bloom Filter、Counting Bloom Filter。 BitMap的原理 BitMap 的基本原理就是用一个 bit 位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 举个例子在Java里...
Bitmap 性能和原理研究.docx
11-14
Bitmap 是一种广泛应用于计算机科学和信息技术领域的数据结构，它可以高效地存储和查询大量的位图数据。在本文中，我们将深入探讨 Bitmap 的性能和原理，从最原始的 Bitmap 到 RoaringBitmap，这种可能是目前大多数...
BitMap原理
RosenDing的博客
11-17 821
BitMap 传统BitMap 传统的bitmap是用一个二进制位（bit）来表示一个值，0表示不存在，1表示存在，这样存储所有32位长度的数据只需要512M存储空间。 但是有个问题：这种bitmap比较固定，即使只表示个位数个数字也需要512M的空间，大部分位都是0，比较浪费空间。 Roaring BitMaps 未完待续~ ...
高级数据结构及应用之使用bitmap进行字符串去重的方法实例
08-26
"高级数据结构及应用之使用bitmap进行字符串去重的方法实例" 本文主要讨论了使用Bitmap来实现字符...通过阅读本文，读者可以了解使用Bitmap进行字符串去重的原理和实现方式，从而提高自己的编程能力和解决问题的能力。
bitMap原理及实战
LJJZJ的博客
12-13 717
小知识 在实际项目中，我们经常需要聚合统计，比如统计一个年龄在20-30，喜欢看技术书籍，喜欢听音乐，喜欢宅在家的程序员等等一系列标签的用户。 如果使用mysql求并集，首先语句随着标签变长而变长，其次聚合，分组，去重严重影响语句性能。这种情况如何解决？ 比如现在比较火的面试题，在10亿整数中找出100个重复的数，或者任意给定一个整数，判断是否在这个10亿数中。 bitMap原理 bitMap...
BitMap原理以及应用介绍
wwxy1995的博客
08-01 271
BitMap 实际上就是比特数组，是int数组空间的1/32， 可以用来记录有以及没有状态。
深入剖析 Bitmap 数据结构：原理、应用与优化策略
进一步有进一步的欢喜~
02-03 1707
在计算机科学领域，数据的高效存储和快速处理一直是核心问题。随着数据量的不断增长，如何用最少的空间和最快的速度来表示和操作数据变得至关重要。Bitmap（位图）作为一种简洁而强大的数据结构，应运而生并在众多领域得到了广泛应用。本文将深入探讨 Bitmap 的原理、应用场景、实现方式以及相关的技术细节。
BitMap详解及应用场景
2301_76166241的博客
08-29 1705
其实这个问题很简单，一个数字的状态只有三种，分别为不存在，只有一个，有重复。这就是我们前面所说的了，int数组中的一个元素是4字节占32位，那么除以32就知道元素的下标，对32求余数（%32）就知道它在哪一位，如果该位是1，则表示存在。要表示8个数，我们就只需要8个Bit（1Bytes），首先我们开辟1Byte的空间，将这些空间的所有Bit位都置为0，然后将对应位置为1。最后，遍历一遍Bit区域，将该位是一的位的编号输出（2，3，4，5，7），这样就达到了排序的目的，时间复杂度O(n)。
BitMap介绍与应用
Javaer
03-21 1540
本文主要介绍了BitMap与实际应用其解决问题的案例。有10亿个用户id (int类型)，判断用户是否登录？短视频平台中有十亿+用户，广告主想要精准投放流量，如何进行人群的圈选呢？
算法研究（二） bitmap在排序中的妙用
justaipanda的专栏
09-25 3467
题目：在一个文件中存放着几百万个非负整形数据，它们最大不超过7位，且无重复数据，现将该文件中的数据按升序进行排序。 对于排序，相信没人会陌生，已知的通用排序算法对于这个题目都显得有些力不从心，昂贵的内存开销（如果采用硬盘排序倒是可以减少内存开销，但时间上将耗费更多），巨大的时间耗费（这点是最不能接受的）。所谓的巧妙算法实际上都是分析问题的特点，针对它的特殊性而得出的。对于这个问题，有两个条件
[Redis小知识]从业务角度分析一下BitMap的作用
DrLai的博客
03-27 713
提示：今天和大家分享bitmap的知识 文章目录前言一、日常使用Bitmap的业务二、bitmap使用逻辑1.bitmap简介2.bitmap基础指令setbit的指令getbit 获取操作bitcount 统计操作总结 前言 BitMap Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value,而Key即是该元素。由于采用了Bit为单位来存储数据,因此在存储空间方面,可以大大节省。` 一、日常使用Bitmap的业务 示例：在开发中，可能会遇到这种情况：需要统计用户的某些信息，如.
bitmap的用法（浅谈）
bigpaddy的专栏
07-17 806
bitmap的用法（浅谈） 需求：从服务器下载一张图片，显示在ImageView控件上，并将该图片保存在移动设备的SD上。步骤： （一）获得输入流 //urlPath:服务器路径; public InputStream getUrlInputStream(String urlPath) throws IOException{URL url=new URL(urlPath); HttpUR
bitmap原理和用途
01-09
### Bitmap 工作原理 Bitmap 是一种利用位数组来表示集合的数据结构。每个元素对应于位数组中的一个位置，该位置上的值可以是 0 或者 1，用来指示特定元素是否存在于此集合之中[^1]。 #### 数据压缩机制 当使用 bitmap 方式进行数据压缩时，仅需少量空间即可记录大量信息。例如，在某些场景下，只需 `64x32 bit` 的 RAM 就能完成目标。具体来说，RAM 中每一个比特位都代表着一条独立的信息；其中，“1” 表明相应项存在，“0” 则意味着缺失[^4]。 #### 时间复杂度优势 由于操作是在单个二进制位上执行，因此查找、插入或删除的时间复杂度均为 O(1)，这使得 bitmap 成为了处理大规模数据集的理想工具之一[^5]。 ### 应用领域 #### 大规模数据分析 在 OLAP 引擎中广泛应用 bitmap 技术，尤其是在面对海量日志分析或是其他需要频繁聚合运算的任务时表现优异。这类技术能够有效降低内存消耗的同时提升查询速度。 #### 实时/离线仓库管理 对于涉及多对多关系的企业与标签之间的关联问题，采用 bitmap 可显著减轻计算负担。比如统计某类标签覆盖了多少家企业，或者是反向追溯哪些标签适用于指定公司等操作都能得到优化解决[^3]。 #### 高效索引构建 像 roaring bitmap 这样的高级变种形式更是引入了更复杂的压缩策略（如 RLE），从而进一步减少了存储需求并增强了性能。这对于创建高效的倒排索引特别有用，特别是在搜索引擎等领域内[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值