使用位图做整型ID去重的一种方法

最新推荐文章于 2024-04-07 10:30:42 发布
最新推荐文章于 2024-04-07 10:30:42 发布
阅读量221 收藏
点赞数
分类专栏： Web开发 文章标签： java

什么是位图算法

英文叫做bitmap，也有叫做bitset，Java SDK的util包中就包含一个BitSet的实现。

《编程珠玑》中提到一个位图算法的例子：

输入：一个文件，里面大约有1千万行数据，每个数据是7位整数，同时每个数是唯一的，即不允许有2个数相同，这些整数不与其他任何数产生关联。

输出：将这个整数按升序排列，并生成到一文件中

限制：能够使用内存为1M，但是附存足够大，运行时间最多为几分钟，10s为最合适的时间。

用位图算法解决可以这么做：用含有1千万个位的整型数组来表示这个文件，文件中有的数据则标识为1，没有则标识为0，最后从第一位读至最后一位，即为有序的集合。

利用位图算法过滤重复ID

首先阐述一下算法思路：

使用一个足够大的位图，每一位表示一个整数的ID，有ID需要处理前，去位图里面查找对应的位是否为0，0表示未处理过，等处理过后就置成1.比如现在有个位图，二进制是00000000，来个id值是3，那么我们需要把位图置成00001000，如果重复的id值3再过来，通过判断这个位图的第三位是1就知道已经处理过了。

。。。。

 

详情请到我的新博客：

http://xiaofengmetis.com/?p=60

 

xiaofeng_w_w
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
海量数据去重排序--bitmap（位图法）在java中的实现的两种方法
gaven的博客
04-22 1万+
在海量数据中查找出重复出现的元素或者去除重复出现的元素是面试中常考的文图。针对此类问题，可以使用位图法来解决。例如：已知某个文件内包含若干个电话号码，要求统计不同的号码的个数，甚至在O（n）时间复杂度内对这些号码进行排序。位图法需要的空间很少（依赖于数据分布，但是我们也可以通过一些放啊发对数据进行处理，使得数据变得密集），在数据比较密集的时候效率非常高。例如：8位整数可以表示的最大十进制数值为999
使用位图BitSet针对手机号码进行去重200万以上的数据量
qq_40144558的博客
11-28 1333
结果：去重200万手机号码大概10秒钟,30万手机号码大概2秒钟 号码首先格式是一行一个号码,如果直接进行比较去重,慢不说而且很耗费内存，使用BitSet位图进行去重就简单方便得多，主要是耗费内存比较小而且快，首先初始化一个300万位数的BitSet，他是将手机号码的作为一个int值放在相对应的位置上且标记已存在，如果下一次再放一个同样的手机号码到该位置就提示已存在了，这样就不会有重复，既然Bi...
Java中利用BitMap位图实现海量级数据去重
最新发布
qq_35716689的博客
04-07 1万+
有许多方法可以用来去重，比如使用列表、集合等等，但这些方法通常只适用于一般情况。然而，当涉及到大量数据去重时，常见的 Java Set、List，甚至是 当涉及到大量数据去重时，常见的 Java Set、List，甚至是 Java 8 的新特性 Stream 流等方式就显得不太合适了。在处理大量数据的需求场景下，我们不得不提及 BitMap。
怎样对10亿个数字快速去重？——浅析位图数据结构及其应用
hustwht的专栏
08-11 1万+
给你几亿个QQ号，怎样快速去除重复的QQ号？ 可以作如下假定： QQ号数字范围从0到十亿，即[0, 1000000000)，且最多给你10亿个QQ号，这些QQ号放在1或多个文本文件中，格式是每行一个QQ号。 请读者先独立思考一下该怎样解决。 ———————————————————————————————————————————————————————— 其实在一年前碰
大数据去重——位图
weixin_38679007的博客
06-08 2632
100亿整型数据去重？整型数据为32位最多有2^32(42亿多），所以100亿整型数据一定有重复的，2^32个整形用位表示，需要(2^32)bit==512MB,需要512MB内存表示。下面是去重算法：#include <stdio.h> #include <stdlib.h> #define MAX (0xffffffff) void setBuf(char *buf...
Redis精确去重计数方法（咆哮位图）
12-16
前言 如果要统计一篇文章的阅读量，可以直接使用 Redis 的 incr 指令来完成。如果要求阅读量必须按用户去重，那就可以使用 set 来记录阅读...我们首先想到的就是位图，可以使用位图的一个位来表示一个用户id。如果一个
高级数据结构及应用之使用bitmap进行字符串去重的方法实例
08-26
在高级数据结构及应用中，使用Bitmap进行字符串去重是一种常用的方法，这种方法可以快速判断某字符是否出现过，从而实现字符串去重。通过选择合适的底层数据结构，可以提高字符串去重的效率。在实际应用中，我们可以...
海量数据去重排序bitmap(位图法)在java中实现的两种方法
08-26
另一种实现位图法的方法是使用基本类型数组来存储位图。这种方法需要手动实现位图的操作，例如，设置位、获取位等。 下面是使用基本类型数组实现位图法的示例代码： ```java public class BitMap { public static...
行业分类-设备装置-一种基于位图追踪法的双探针自动测试平台.zip
08-20
本文将深入探讨一种基于位图追踪法的双探针自动测试平台，这种技术对于提高测试效率、精度以及自动化程度具有显著优势。该测试平台主要应用于半导体器件、集成电路等微电子产品的功能与参数测试。 首先，我们要理解...
BitMap位图法实现海量数据下的查重、去重
qq_34318698的博客
04-26 1460
BitMap位图法实现海量数据下的查重、去重 转载地址：https://www.jianshu.com/p/8d074e8d02aa?utm_campaign=hugo 在一些海量数据的场景中，做一些查重、去重、排序，一般的方法难以实现，因为内存占用太大了，比如以下问题： 问题一：10亿个正整数，给定一个数值，如何快速判定该数值是否在10亿个正整数当中？假如机器只有1G内存？ 问题二：比如说是一组...
【算法-位图法】在海量数据中查找重复元素
fxkcsdn的博客
08-01 3111
什么是位图法？ 举个简单例子，在java中一个int类型的数有32位，而这32只表示一个数太过浪费，于是就考虑让这32位可以表示32个数，每一位表示该数是否存在，例如： 这里用16位的二进制就能表示十六个数字，1表示存在，0表示不存在，上图就表示存在（16，12，6，4，1）这五个数。 在海量数据中查找重复出现的元素或者去除重复出现的元素也是常考的问题。针对此类问题，一般可以通过位图法...
集合中如何实现去重操作？
weixin_40487115的博客
10-24 399
只在原集合操作； 创建新集合；
面试题：异或去重
wojiushimogui的博客
10-12 4172
来源：http://blog.csdn.net/ns_code/article/details/27568975异或是一种基于二进制的位运算，用符号XOR或者 ^ 表示，其运算法则是对运算符两侧数的每一个二进制位，同值取0，异值取1。它与布尔运算的区别在于，当运算符两侧均为1时，布尔运算的结果为1，异或运算的结果为0。异或的性质：满足交换律和结合律1、交换律：a^b = b^a；2、结合律：(a^b
位图：如何实现网页爬虫中的URL去重功能
ywangjiyl的博客
03-08 235
位图：如何实现网页爬虫中的URL去重功能? 爬虫的工作原理是通过解析已经爬取页面中的网页链接，然后再爬取这些链接对应的网页，而同一个网页链接可能被包含在多个页面中，会导致爬虫在爬取的过程中重复爬取相同的网页，如何避免重复的爬取？ 记录已经爬取的网页链接URL，在爬取新的网页之前，拿它的链接，在 已经爬取的网页链接列表中搜索。如何记录已经爬取的网页链接？需要用什么数据结构？ 算法解析 需要处理的对象...
位运算；去重函数unique及解析；
HHppGo的博客
04-10 344
可以提前学一下，计算机组成原理会讲，最好提前学一下，程序设计竞赛很多技巧题或者卡时间的都需要用到二进制，二进制运算在计算机中是最快的运算。 **去重（去除重复的数据） #include #include using namespace std; int my_unique(int a[],int n) { int i=1,j=1; while(j<n) { if(a[j]!=a[j+1]...
使用位图法求重复数组
亚马逊丛林
08-16 381
看代码       取数组中最大元素的值，作为新的数组的长度。原来数组中的值为i，那么新数组中第i位就加1。如此，则可以得出，新数组第i位的值是原来数组中i值存在的个数。 #include&lt;stdio.h&gt; #include&lt;stdlib.h&gt; #include&lt;string.h&gt; #include&lt;stdbool.h&gt; bool hasDup...
利用位运算过滤重复
xiayingwen1989的专栏
06-18 874
以前看到一个题目，大致要求如下： //在一堆20以内数字找出重复的，不开辟空间，时间复杂度在O（n）以内 //1,2,3,4,5,5,6,6,7,8,9,10,11,12,13,14,15,16,17,18,19,18,15,16,1 这个题目如果可以开辟空间是很好处理的，但是明确要求了不能开辟空间，因此需要再看看其他思路。 通过数字特点，我们可以分析如下：数字是在2
大量数据去重：Bitmap位图算法和布隆过滤器(Bloom Filter)
张花生的博客
09-27 3304
Bitmap算法 与其说是算法，不如说是一种紧凑的数据存储结构。是用内存中连续的二进制位(bit)，用于对大量整型数据做去重和查询。其实如果并非如此大量的数据，有很多排重方案可以使用，典型的就是哈希表。 实际上，哈希表为每一个可能出现的数字提供了一个一一映射的关系，每个元素都相当于有了自己的独享的一份空间，这个映射由散列函数来提供（这里我们先不考虑碰撞）。实际上哈希表甚至还能记录每个元素出现的...
MFC中怎么使用一个位图句柄创建一个空白位图
07-15
在 MFC 中，你可以使用 `CBitmap` 类和 `CreateBitmap` 函数来使用一个位图句柄创建一个空白位图对象。下面是示例代码： ```cpp CBitmap CreateBlankBitmap(HBITMAP hBitmap) { CBitmap bitmap; bitmap.Attach...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值