BitMap（位图）排序

最新推荐文章于 2024-03-01 21:49:12 发布
最新推荐文章于 2024-03-01 21:49:12 发布
阅读量760 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eclipsemasm/article/details/20687087
版权
这篇博客探讨了如何使用位图（BitMap）数据结构解决亿级别手机号码的注册判断问题。通过创建一个十亿长度的bit数组，将手机号码视为数组下标，设置对应的位为1，从而实现高效查找。这种方法也可应用于排序，但前提是数据无重复。如果数据重复不超过n次，可以使用连续n位表示数字索引和重复次数。
摘要由CSDN通过智能技术生成
这是我的第一篇算法贴.
之前去京东面试，那个面试官问了我一个面试题，大体如下。

面试官说：
京东的用户用手机号码注册,，现在有一个文件，里面存了一亿个用户的手机号码，是京东的用户。
现在有人注册，用最短的时间判断一个手机号码是否是已经注册的手机号。
附带说了一个条件，就是这么多数字一次全读进内存比较困难。

当时想法：
按照树形结构，构建一个树，手机号码前几位就那么几个
最低0.47元/天 解锁文章
eclipsemasm
关注
基于MapReduce框架的约束约束改进Cop-Kmeans聚类算法
03-16
具有成对约束的聚类最近在聚类社区中引起了很多关注。 特别地，数据集中给定实例对之间的必须链接约束和不能链接约束是当今许多聚类算法中所包​​含的常识。 事实证明，这种方法可以成功地指导许多著名的聚类算法获得更准确的结果。 但是，最近的工作还表明，必须链接约束和不能链接约束的合并使聚类算法对“实例的分配顺序”过于敏感，因此导致了随后的约束冲突。 本文的主要贡献有两个方面。 一种方法是在执行“无法链接”集合的“广度优先”搜索后，通过强调无法链接实例的有序分配来解决Cop-Kmeans中违反约束的问题。 另一个是通过采用MapReduce框架来降低大数据集的Cop-Kmeans计算复杂度。 实验结果表明，我们的方法在海量数据集上表现良好，同时可以克服约束冲突的问题。
教你用BitMap排序、查找和存储大量数据
weixin_43525722的博客
12-14 4594
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 假设现在有这样一个需求：在20亿个随机整数中找出某个数是否存在其中，并假设32位操作系统，4G内存，你会怎么做？我们知道在java中，一个int占4字节，1字节=8位（1 byte = 8 bit），如果每个数字用int存储，那就是20亿个int，因而占用的空间约为： 2000000000*4/1024/1024/1024≈7.45 G 显然消
Java中的TreeMap[78]
热门推荐
weixin_45539338的博客
11-18 1万+
Java中的TreeMap[78]
Bitmap排序
Mercop的专栏
04-24 1222
Bitmap排序 bitmap排序：开辟数据最大值长度的bit数组记录数据是否存在，存在为1，不存在为0，这样可以一趟循环，就可以获取数据的顺序。可以在线性时间处理海量大数据,数据不能重复。 package com.marving.acm.sort; import static com.marving.util.Print.print;/** * * @title: bitmap排序,线性
排序8：位图排序
纵横千里 捭阖四方 的专栏
08-02 612
位图排序也称为bitmap排序，它主要用于海量数据去重和海量数据排序，假如说有10 亿个int类型且全部不相同的数据，给1G内存让你排序，你怎么排，如果全部加载到内 存中，相当于40亿个字节，大概约等于4G内存。所以全部加载到内存肯定不行，如果我 们使用位图排序的话，我们用long类型表示，一个long占用8个字节也就是64位，所以 如果我们使用位图排序的话只会占用约0.125G内存,内存占用大大减少。但位图排序有 个缺点就是数据不能有重复的，如果有重复的会覆盖掉，这也是位图能在海量数据中去 重的原因，我们
PHP实现bitmap位图排序与求交集的方法
10-21
在探讨PHP实现bitmap位图排序与求交集的方法之前，我们需要先了解几个基础概念。位图（Bitmap）是一种数据结构，用来将大量的数据存储为简单的0和1的位组合，以此来节省存储空间和提高效率。位图排序主要是将位图...
C语言实现的bitmap位图代码分享
09-04
位图（Bitmap）是一种在计算机科学中用于存储和处理数据的有效方式，特别是在处理大量布尔值或需要高效查找、设置和清除单个元素时。在C语言中，我们可以使用数组来模拟位图，其中每个数组元素代表一个固定长度的二...
c# 实现位图算法（BitMap）
08-18
C# 实现位图算法（BitMap） 位图算法（BitMap）是一种高效的数据结构，主要用于快速查询和存储大规模数据。下面将详细介绍 C# 中如何实现位图算法（BitMap）。 什么是 BitMap BitMap 的基本思想就是用一个 bit 位...
用位图排序无重复数据集实例代码（C++版）
09-04
位图排序是一种特殊的排序算法，尤其适用于处理包含无重复元素的整数集合。该方法利用了计算机内存中的一位可以代表一个状态的事实，通常用于表示一个整数是否存在。位图排序的基本思想是创建一个与待排序数据最大值...
使用Bitmap实现排序
尹圈圈的博客
04-09 608
介绍使用Bitmap实现排序，是通过在Bitmap将待排序列表中的数值位标记为1，然后顺序输出bitmap的标记位实现排序的方法。
C#实现bitmap 高效地排序 标记存储
08-23
C#实现bitmap 高效地排序 标记存储
mapState和computed结合在Vue3版本中的setup使用
xwnxwn的专栏
04-10 4208
引用地址：https://blog.csdn.net/qq_41308489/article/details/121534153 简单的用法: 直接用computed (不推荐） import {computed} from "vue" import {mapState, useStore} from "vuex" export default { setup() { const store = useStore() const counter = computed...
排序算法之 BitMap算法 原理及Go实现
草帽boy的博客
02-24 476
1.BitMap BitMap是一种排序算法,他的特点是速度快,节省容量。可以对整数型型数据进行排序,同时也可以应用于文本去重，排序前先要对文本进行MD5操作。 优点 节省空间,对于一个字节进行排序,只要一个字节的空间。 运行效率高 缺点: 重复数据只能记录一次。 假设要对30 亿个 数据 进行排序,每个整数如果占 4 个字节 那么 30亿的数据就要占用 11 个G,对于一些配置...
MapReduce:详解Shuffle过程
Mac Track
02-16 1790
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里
位图排序之bitMap实现
qq_28044241的博客
08-17 448
 位图排序通常用在特定的大数据量的场景下，如对给定的20亿条无重复整形数据进行排序，要求使用的内存不能超过265M。此时我们可以采用位存储的方式来对数据进行排序。 首先，申请一个20亿的bit数组，然后读取20亿的数据，找到当前读取的整数所在的bit的位置，将其置1，直到所有的数据都读完。 第二，遍历bit数组，如果当前位置的bit位为1，则将下标输出到文件，否则判断下一个是否为1。 p...
BitMap数据结构
西凉的悲伤博客
06-01 2685
Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。（PS：划重点 节省存储空间）假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存在Java中，int占4字节，1字节=8位（1 byte = 8 bit）如果每个数字用int存储，那就是20亿个int，因而占用的空间约为 (2000000000*4/1024/1024/1024)≈7.45G。
《编程珠玑》-- 开篇：BitMap算法用于磁盘文件排序的原理与实现
Apollon_krj的博客
06-14 1956
一、问题提出与描述：我们经常会遇到一类问题，这类问题是：有一个大的文件，该文件中存有大量的未经排序的数字，给定限制大小的内存，设计算法实现对该文件中的所有数字的排序，并将排序结果放到新文件中（经常会以时间日期等命名）。比如：有一个文件，该文件中有0~4294967295区间内的2147483648个数字，并且是乱序的，给定内存为1GB，对该文件中的数字进行排序。一般情况下，这类问题有个特点，就是给定
【Java难点攻克】「海量数据计算系列」如何使用BitMap在海量数据中对相应的进行去重、查找和排序实战
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-04 1810
BitMap从字面的意思，很多人认为是位图，其实准确的来说，翻译成基于位的映射，其中数据库中有一种索引就叫做位图索引。在具有性能优化的数据结构中，大家使用最多的就是hash表，是的，在具有定位查找上具有O(1)的常量时间，多么的简洁优美。但是数据量大了，内存就不够了。此外，可以使用类似外排序来解决问题的，由于要走IO所以时间上又不行。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以节省。上面说了BitMap
【位图（Bitmap）】数据结构：高效存储与处理大量数据
最新发布
StuLearn-LJC的博客
03-01 1866
位图是一种数据结构，是用每一位来存放某种状态，适用于海量数据，整数，数据无重复的场景。通常是用来判断某个数据存不存在的。数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。
Java位图排序详解及其实现
在Java中实现位图排序，首先需要准备一个足够大的位数组，然后遍历待排序数组，对每一位进行如下操作： 1. 将数据转换为其在位数组中的索引，比如如果数据范围是0到255，那么数据值10对应位数组的索引是10。 2. 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值