海量数据去重、排序，bitmap的巧用

于 2024-08-08 11:48:09 发布
阅读量119 收藏
点赞数 3
分类专栏： 杂谈 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pige666/article/details/141022025
版权

假设给你40亿个qq号，问你某个qq号是否存在怎么办

假设内存足够，那就放进hashmap就好了，O(1)，很快就能查得到

但假设内存不够呢？那我们来想一想除了hashmap还有什么可以O(1)来判断元素的状态。那就是数组，解决方案便是开一个40亿bit的数组，若某个qq号存在则在对应bit上取1，反之取0.数据结构采用byte[]数组，先/8算在哪个byte，再%8算&哪位来求。

去重可以用bitmap，排序也是，当都存进bitmap后，可以从头遍历，因为已经是有序了

結城
关注
专栏目录
002 bitmap海量数据的快速查找和去重
yanziguilai的专栏
08-10 5583
题目描述 给你一个文件，里面包含40亿个整数，写一个算法找出该文件中不包含的一个整数， 假设你有1GB内存可用。 如果你只有10MB的内存呢？
海量数据去重排序--bitmap（位图法）在java中的实现的两种方法
热门推荐
gaven的博客
04-22 1万+
在海量数据中查找出重复出现的元素或者去除重复出现的元素是面试中常考的文图。针对此类问题，可以使用位图法来解决。例如：已知某个文件内包含若干个电话号码，要求统计不同的号码的个数，甚至在O（n）时间复杂度内对这些号码进行排序。位图法需要的空间很少（依赖于数据分布，但是我们也可以通过一些放啊发对数据进行处理，使得数据变得密集），在数据比较密集的时候效率非常高。例如：8位整数可以表示的最大十进制数值为999
利用BitMap进行大数据排序去重
chiyinjing0766的博客
08-16 372
1、问题 问题提出： M（如10亿）个int整数，只有其中N个数重复出现过，读取到内存中并将重复的整数删除。 2、解决方案 问题分析： 我们肯定会先想到在计算机内存中开辟M个int整型数据数组，来one bye one读取M个int类型数组， 然后在一一比对数值，最后将重复数据的去掉。当然这在...
Bitmap--海量数据排序
qq_44777506的博客
07-06 717
题目描述： 给10g的整型数据进行从小到大的排序。 分析： 经常能够看到有些大厂的面试题里有一些这样的题目：一个10G的文件，里面全部是自然数，一行一个，乱序排列，对其排序。在32位机器上面完成，内存限制为 2G。 首先来分析一下题目，10G的文件，只有2G内存，显然，不可能一次性把数据放入内存中直接排序。那么，还有什么其他办法呢？遍寻资料，可以发现大致有两种解决方案： 1、把大文件分成多个小文件，分别排序，到最后合并成一个文件。 2、另外一种方法就是著名的bitmap算法了。 Bitmap算法思想： 所谓
BitMap：一个文件中有20亿个数字，对这20亿个数字进行去重并按照从小到大排序。
Charon博客站
12-03 2189
BitMap简介 BitMap是一种基于位的映射算法，它的基本思想就是用一个bit位，来记录某个元素的状态，而bit位所在的下标，通过该元素可以计算得到。 举个例子 假设有这样一个需求：一个文件中有20亿个随机正整数，对这20亿个数字进行去重并按照从小到大排序。20亿个数字大于0并小于2147483647，计算机的内存1G。 在Java中，int占4字节，1字节=8位（1 byte = 8 bit）。 如果每个数字用int存储，那就是20亿个int，因而占用的空间约为 (2000000000*
java bitmap 排序_海量数据去重排序bitmap(位图法)在java中实现的两种方法
weixin_31463675的博客
02-13 334
在海量数据中查找出重复出现的元素或者去除重复出现的元素是面试中常考的文图。针对此类问题，可以使用位图法来解决。例如：已知某个文件内包含若干个电话号码，要求统计不同的号码的个数，甚至在O(n)时间复杂度内对这些号码进行排序。位图法需要的空间很少(依赖于数据分布，但是我们也可以通过一些放啊发对数据进行处理，使得数据变得密集)，在数据比较密集的时候效率非常高。例如：8位整数可以表示的最大十进制数值为99...
海量数据去重排序bitmap(位图法)在java中实现的两种方法
08-26
海量数据去重排序bitmap(位图法)在java中实现的两种方法 海量数据去重排序是指在大量数据中找到重复出现的元素或去除重复出现的元素，这种问题在面试中经常被考察。针对这种问题，一种常用的解决方法是使用位图法。...
海量数据处理之BitMap
bo_peter的博客
07-09 207
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 数据查询、去重、排序效果不错，十分节省内存 ...
千万数据去重_如何在 1 秒内做到大数据精准去重？
weixin_35519827的博客
12-28 932
去重计数在企业日常分析中应用广泛，如用户留存、销售统计、广告营销等。海量数据下的去重计数十分消耗资源，动辄几分钟，甚至几小时，Apache Kylin 如何做到秒级的低延迟精确去重呢？什么是去重计数去重计数是数据分析中的常用分析函数，指查询某列中不同值的个数，在 SQL 中的函数是 count(distinct col)。它与 count(col) 函数的区别在于有一个 distinct 描述符，...
大数据去重：Bitmap和布隆过滤器
越丘的博客
06-20 815
目录1. 用户关注链问题2. Bitmap3. Bloom filter（布隆过滤器）4. 海量数据中位数问题5. Top-K问题 1. 用户关注链问题 场景描述：在某场景下有一个用户关系链，比如A关注了B，然后B关注了C，然后用户B知道自己被谁关注，也知道他关注了谁。假如说将这个信息放在统一的数据库中，然后用户查询的时候每次去遍历，那么就会对数据库造成非常大的负担，而且在一个亿级用户系统中这样的...
bitmap怎么去重
08-30
- *1* *2* *3* [【Java难点攻克】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序实战](https://blog.csdn.net/l569590478/article/details/128177470)[target="_blank" data-report-...
数据结构与算法：bitmap位图法解决大数据查重问题
Sauron7i的博客
09-22 1020
有1亿个整数，最大值不超过1亿，问都有哪些元素重复，谁是第一个重复的，谁是第一个不重复的，内存限制100M。
50 亿数据如何去重&排序？海量数据去重、Top-k、BitMap问题整理
最新发布
qq_44591181的博客
05-14 1422
1.Hash算法处理海量数据部分【题目1】给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？【题目2】海量日志数据，提取出某日访问百度次数最多的那个IP。【题目3】有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。【题目4】有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
【数据结构】【项目】BitMap？40亿电话号码如何快速去重？
锥栗的博客
09-13 1121
40亿电话号码如何快速去重？我们往往会想到bitmap数据结构中的 Bitmap 是一种位图索引非常高效的数据结构，用于存储处理大规模数据的位信息，其中每个位对应于一个元素，如果位为1，则表示该元素存在于集合中，否则表示不存在。如果要表示一个包含 10 个元素的数据集，可以创建一个包含 10 位的位数组。Bitmap 支持插入和查找。插入操作将对应位置的位从 0 设置为 1，将元素添加到数据集中。查找操作通过检查相应位置的位来确定元素是否存在于数据集中。如果位为 1，表示元素存在；
【Java难点攻克】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序实战
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-04 1806
BitMap从字面的意思，很多人认为是位图，其实准确的来说，翻译成基于位的映射，其中数据库中有一种索引就叫做位图索引。在具有性能优化的数据结构中，大家使用最多的就是hash表，是的，在具有定位查找上具有O(1)的常量时间，多么的简洁优美。但是数据量大了，内存就不够了。此外，可以使用类似外排序来解决问题的，由于要走IO所以时间上又不行。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以节省。上面说了BitMap
海量数据相关面试问题（一）：海量数据文件排序问题（Bitmap、多路归并算法）
Love 6's Private Blog
05-18 1234
文章目录前引海量数据相关面试问题（一）：海量数据文件排序问题（Bitmap、多路归并算法）1、如何给磁盘文件排序1、一些相关问题的 遐想总结2、bitmap排序（对于数据重叠无能为力/可排除重复数字）1、bitmap排序 思路介绍2、bitmap排序 代码实现（代码中排序数组大小为10000000）2、bitmap排序 结果验证3、多路归并算法（内部排序 + 外部排序）1、多路归并算法 思路介绍2、多路归并排序 代码实现（代码中排序数组大小为10000000）3、多路归并算法 结果验证2、浅浅总结一下 前
java bitmap 排序_采用bitmap位图算法对大量不重复数据进行线性时间排序
weixin_28953369的博客
02-23 334
/*********************************************************************************问题描述输入：一个最多包含n个正整数的文件，每个数都小于n，其中n=1０＾7。如果在输入文件中有任何正数重复出现就是致命错误。没有其他数据与该正数相关联。输出：按升序排列的输入正数的列表。约束：最多有1MB的内存空间可用，有充足的磁盘存...
教你用BitMap排序、查找和存储大量数据
weixin_43525722的博客
12-14 4574
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 假设现在有这样一个需求：在20亿个随机整数中找出某个数是否存在其中，并假设32位操作系统，4G内存，你会怎么做？我们知道在java中，一个int占4字节，1字节=8位（1 byte = 8 bit），如果每个数字用int存储，那就是20亿个int，因而占用的空间约为： 2000000000*4/1024/1024/1024≈7.45 G 显然消
Bitmap技术解析：如何高效处理海量数据
"这篇文章主要介绍了如何使用Bitmap技术处理海量数据，包括其原理和实现方法，通过实例展示了Bitmap在排序问题上的应用。" Bitmap，又称位图或位映射，是一种高效的数据存储方式，尤其适用于处理大量数据。它利用每...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值