BitMap（位图）排序

最新推荐文章于 2023-06-01 15:03:08 发布
最新推荐文章于 2023-06-01 15:03:08 发布
阅读量743 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eclipsemasm/article/details/20687087
版权
这是我的第一篇算法贴.
之前去京东面试，那个面试官问了我一个面试题，大体如下。

面试官说：
京东的用户用手机号码注册,，现在有一个文件，里面存了一亿个用户的手机号码，是京东的用户。
现在有人注册，用最短的时间判断一个手机号码是否是已经注册的手机号。
附带说了一个条件，就是这么多数字一次全读进内存比较困难。

当时想法：
按照树形结构，构建一个树，手机号码前几位就那么几个
最低0.47元/天 解锁文章
eclipsemasm
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Bitmap排序
Mercop的专栏
04-24 1196
Bitmap排序 bitmap排序：开辟数据最大值长度的bit数组记录数据是否存在，存在为1，不存在为0，这样可以一趟循环，就可以获取数据的顺序。可以在线性时间处理海量大数据,数据不能重复。 package com.marving.acm.sort; import static com.marving.util.Print.print;/** * * @title: bitmap排序,线性
MapReduce:详解Shuffle过程
Mac Track
02-16 1709
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里
位图排序之bitMap实现
qq_28044241的博客
08-17 431
 位图排序通常用在特定的大数据量的场景下，如对给定的20亿条无重复整形数据进行排序，要求使用的内存不能超过265M。此时我们可以采用位存储的方式来对数据进行排序。 首先，申请一个20亿的bit数组，然后读取20亿的数据，找到当前读取的整数所在的bit的位置，将其置1，直到所有的数据都读完。 第二，遍历bit数组，如果当前位置的bit位为1，则将下标输出到文件，否则判断下一个是否为1。 p...
排序算法之 BitMap算法 原理及Go实现
草帽boy的博客
02-24 444
1.BitMap BitMap是一种排序算法,他的特点是速度快,节省容量。可以对整数型型数据进行排序,同时也可以应用于文本去重，排序前先要对文本进行MD5操作。 优点 节省空间,对于一个字节进行排序,只要一个字节的空间。 运行效率高 缺点: 重复数据只能记录一次。 假设要对30 亿个 数据 进行排序,每个整数如果占 4 个字节 那么 30亿的数据就要占用 11 个G,对于一些配置...
BitMap数据结构
西凉的悲伤博客
06-01 2286
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。（PS：划重点 节省存储空间）假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存在Java中，int占4字节，1字节=8位（1 byte = 8 bit）如果每个数字用int存储，那就是20亿个int，因而占用的空间约为 (2000000000*4/1024/1024/1024)≈7.45G。
PHP实现bitmap位图排序与求交集的方法
10-21
主要介绍了PHP实现bitmap位图排序与求交集的方法,结合实例形式分析了php位图排序及求交集运算的相关实现技巧,需要的朋友可以参考下
C语言实现的bitmap位图代码分享
09-04
位图（Bitmap）是一种在计算机科学中用于存储和处理数据的有效方式，特别是在处理大量布尔值或需要高效查找、设置和清除单个元素时。在C语言中，我们可以使用数组来模拟位图，其中每个数组元素代表一个固定长度的二...
c# 实现位图算法（BitMap）
08-18
C# 实现位图算法（BitMap） 位图算法（BitMap）是一种高效的数据结构，主要用于快速查询和存储大规模数据。下面将详细介绍 C# 中如何实现位图算法（BitMap）。 什么是 BitMap BitMap 的基本思想就是用一个 bit 位...
C#实现bitmap 高效地排序 标记存储
08-23
C#实现bitmap 高效地排序 标记存储
《编程珠玑》-- 开篇：BitMap算法用于磁盘文件排序的原理与实现
Apollon_krj的博客
06-14 1875
一、问题提出与描述：我们经常会遇到一类问题，这类问题是：有一个大的文件，该文件中存有大量的未经排序的数字，给定限制大小的内存，设计算法实现对该文件中的所有数字的排序，并将排序结果放到新文件中（经常会以时间日期等命名）。比如：有一个文件，该文件中有0~4294967295区间内的2147483648个数字，并且是乱序的，给定内存为1GB，对该文件中的数字进行排序。一般情况下，这类问题有个特点，就是给定
基于MapReduce框架的约束约束改进Cop-Kmeans聚类算法
03-16
具有成对约束的聚类最近在聚类社区中引起了很多关注。 特别地，数据集中给定实例对之间的必须链接约束和不能链接约束是当今许多聚类算法中所包​​含的常识。 事实证明，这种方法可以成功地指导许多著名的聚类算法获得更准确的结果。 但是，最近的工作还表明，必须链接约束和不能链接约束的合并使聚类算法对“实例的分配顺序”过于敏感，因此导致了随后的约束冲突。 本文的主要贡献有两个方面。 一种方法是在执行“无法链接”集合的“广度优先”搜索后，通过强调无法链接实例的有序分配来解决Cop-Kmeans中违反约束的问题。 另一个是通过采用MapReduce框架来降低大数据集的Cop-Kmeans计算复杂度。 实验结果表明，我们的方法在海量数据集上表现良好，同时可以克服约束冲突的问题。
排序之bitmap排序
TODD911的专栏
01-06 6535
所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 　　如果说了这么多还没明白什么是Bit-map，那么我们来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的目的。要表示8个
位图（bitmap）排序
chuifuhuo6864的博客
07-29 305
有3000万个没有重复的电话号码，1M内存，外存比较充裕，需要将这3000万个电话排序 借此作者引出了位图排序： 位图排序是指以一个N位长的串，每位上以“1”或“0”表示需要排序的集合（后简称“集合”）中的数。比如集合为{2,7,4,9,1,10}，则生成一个10位的串，将第2、7、4、9...
算法研究（二） bitmap在排序中的妙用
justaipanda的专栏
09-25 3430
题目：在一个文件中存放着几百万个非负整形数据，它们最大不超过7位，且无重复数据，现将该文件中的数据按升序进行排序。 对于排序，相信没人会陌生，已知的通用排序算法对于这个题目都显得有些力不从心，昂贵的内存开销（如果采用硬盘排序倒是可以减少内存开销，但时间上将耗费更多），巨大的时间耗费（这点是最不能接受的）。所谓的巧妙算法实际上都是分析问题的特点，针对它的特殊性而得出的。对于这个问题，有两个条件
java bitmap 排序_采用bitmap位图算法对大量不重复数据进行线性时间排序
weixin_28953369的博客
02-23 307
/*********************************************************************************问题描述输入：一个最多包含n个正整数的文件，每个数都小于n，其中n=1０＾7。如果在输入文件中有任何正数重复出现就是致命错误。没有其他数据与该正数相关联。输出：按升序排列的输入正数的列表。约束：最多有1MB的内存空间可用，有充足的磁盘存...
bit-map排序算法
小关关的博客
09-23 519
今天在查Bitmap位图资料的时候无意中发现了一个Bit-Map无重复数字的数组的排序算法，所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 算法思想 32位机器上，一个整形，比如int a;在内存中占32bit，可以用对应的32个bit位来表示十进制的0-31个数，bitm
bitmap排序
alexingcool的专栏
05-03 798
#include using namespace std; #define SHIFT 5 #define MASK 0x1F #define N 10000000 #define BITSPERWORD 32 int a[1 + N/BITSPERWORD]; void set(int i) { a[i >> SHIFT] |= (1 > SHIFT] &= ~(1 > SHIFT] & (1
bitmap实现大数据排序和去重
Freemanzxp
02-28 3312
要点：假如有10亿元素，全部数据读进内存，占用 1000000000 * 4 / 1024 / 1024 /1024 ≈ 3.725 G，爆炸！解决方法：bitmap算法，每一位都能表示一位数字，10000000000 / 8 / 1024 / 1024 / 1024 ≈ 0.116 G，节约了31倍的空间！代码：#define SIZEBIT 1000000000 #define SIZE ...
bitmap应用于排序
jaub的技术专栏
11-15 723
来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 如果说了这么多还没明白什么是Bit-map，那么我们来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的目的
java八股文整理，非常全面可靠
最新发布
08-02
3. **位图（Bit/Bitmap）技术**： 位图是一种高效存储和检索稀疏数据集的技术。对于IP地址这类32位的数据，可以使用位图表示，每个IP对应位图中的一个位，通过位运算快速判断某个IP是否出现过，节省大量空间。 4. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值