位图法；海量数据处理之位图技巧；位图技巧；海量数据；编程珠玑第二章问题A；40亿整数；腾讯面试题

最新推荐文章于 2021-12-17 14:07:06 发布
最新推荐文章于 2021-12-17 14:07:06 发布
阅读量6.8k 收藏 5
点赞数
文章标签： 编程 面试 腾讯 网络 算法 c
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiqiren007/article/details/6451560
版权
本文介绍了编程珠玑第二章中的一个问题：在40亿个无序32位整数中找出缺失的数字。讨论了位图法和二分法两种解决方案，位图法直接但占用内存大，二分法巧妙但需要多次操作。此外，还探讨了位图在海量数据处理、查找缺失和重复数据中的应用，并推荐了相关资源。
摘要由CSDN通过智能技术生成

编程珠玑第二章开始提出了三个问题，其中第一个问题是这样的：一个顺序文件至多包括40亿个32位的整数，这些数是无序的，找出一个不在该文件中的32位整数。（可能有数字是不在该文件中的，因为2^32总共包括了42+亿个数，因此肯定有整数是不在该文件中的，这是鸽巢原理吧？）

据说这是腾讯的一道面试题，大概描述如下：

image

问题描述：

image

问题的描述大概就是这样了。

刚看到这个题目就想到了bitmap，很适合使

最低0.47元/天 解锁文章
jiqiren007
关注
面试题：给40亿个不重复的无符号整数，没排过序，给一个无符号整数如何快速判断这个数是否在这40亿个数中
饭饭的博客
06-11 5388
//**********************位图***********************//腾讯面试题：// 给40亿个不重复的无符号整数，没排过序，给一个无符号整数如何// 快速判断这个数是否在这40亿个数中//解题思路：//（1）直接存进内存//40亿个无符号数，如果放到内存，就需要开辟4*4G=16G的空间，因为数的范围不确定，所以//开辟尽可能大的空间来存放，需42亿9千万×4字
腾讯面试题——位图的应用
poison_biti的博客
11-07 698
题目： 给40亿个不重复的无符号整型，没排过序。给一个无符号整数，如何快速判断这个数是否存在在这40亿个数中 set（）函数图解 reset（）函数图解 “BitMap.h” #pragma once #include class BitMap { public: //range 范围 BitMap(size_t range) { //size_t有四个字
Bit-map(位图与海量数据处理)
Keyu
01-23 326
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）” 基本思想 使用一个bit位来标记某个元素对应的value，而key就是该元素在若干bit中的位置。这样大大节省了存储空间。 应用 排序 对于海量的无重复密集元素排序，其有着占用少的优点。 步骤： 将Bit-map所有bit置为1 将第一个value为n的...
七.位图处理
SSZX0206的博客
08-09 207
1.处理位图 Graphics提供了drawImage方法用于绘制位图 使用步骤： ①.创建Image的子类对象BufferedImage(int width,int height,int ImageTpye) ②.调用BufferedImage对象的getGraphics()方法获取画笔 ③.调用组件paint()方法中提供的Graphics对象的drawImage()方法一次性的内存中的图片BufferedIma...
位图原理及实现 - 海量数据处理标配
看，未来的博客
07-10 4260
下午的时候写了一下位运算的：位运算 - 初见 我个人感觉如果对位运算不是很熟的话可以先看一下上面那个 文章目录位图 - 数据结构位图设计数据结构构造新元素插入位图中元素移出位图元素查找完整代码找出二次出现的数据思考 位图 - 数据结构 为什么要位图？上一篇里面有个例子，是这样的： 你要给1亿个int型数据去重（本篇不讲int以外的，int以外的等我学了布隆过滤器或者各位自行学习布隆过滤器之后再说），要怎么弄？ 一般对于去重的思路就是：排序、遍历、去重。 那，就先讲这个排序。怎么排？看完上一篇的小伙伴都.
位图法：判断一个数是否在40亿个整数中？
热门推荐
程序员囧辉
01-26 1万+
题目 最近看到一个题目：给40亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？ 解法 搜了一下资料，该题目是腾讯的一道面试题，目前网上普遍给出的答案有两种。 1.《编程珠玑》给出的方案 我们把40亿个数中的每一个用32位的二进制来表示，假设这40亿个数开始放在一个文件中。 然后将这40亿个数分成两类：1.最高位...
编程珠玑--位图法排序
slw20010213的博客
12-17 219
位图法是《编程珠玑》第一章中出现的磁盘排序算法。 题目：一个最多包含n个正整数的文件，每个数都小于n，其中n=10^7,且所有正整数都不重复。求如何将这n个正整数升序排列。 约束：最多有1MB的内存空间可用，有充足的磁盘存储空间。 分析:这个题目的最大亮点是只有1MB的内存空间，我们可以通过计算得出，内存只有1MB可以储存的int（4byte）有10^3*10^3/4=250 000个号码。而包含正整数的文件约为10^7个int大小。这意味着无法将所有文件中的正整数一次读取进入到内存空间中去进
海量数据处理面试题方法总结
记忆力不好的博客
06-09 2249
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。       首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率
编程珠玑习题集锦
03-18
- **方法1：位图法** 当内存充足时，可以使用位图来表示40亿个整数，每个整数对应位图中的一个位，如果整数存在，则对应的位为1，反之为0。通过遍历位图找到未设置的位，即为缺失的整数。 - **方法2：二分法** 当...
海量数据去重排序bitmap(位图法)在java中实现的两种方法
08-26
今天小编就为大家分享一篇关于海量数据去重排序bitmap(位图法)在java中实现的两种方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
精彩编程与编程技巧-获得位图文件的信息...
10-09
精彩编程与编程技巧-获得位图文件的信息 ...
数据结构：位图法
qq_43159578的博客
09-08 1660
一、定义 位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bitset容器，其实就是位图法，引用bitset介绍： Abitset is a special container class that is designed to store bits (elements with only two possible values: 0 or 1,trueorfalse, ......
面试笔试问题总结（一）—位制、位操作、位图
上帝已逝，自求多福
08-29 790
作者：disappearedgod 文章出处：http://blog.csdn.net/disappearedgod/article/details/38924503 时间：2014-8-29
C++海量数据处理——判读40亿数字中是否有某个数字（位图BitMap）
JMW1407的博客
09-03 1466
判读40亿数字中是否有某个数字（位图BitMap）判读40亿数字中是否有某个数字（位图BitMap）参考 判读40亿数字中是否有某个数字（位图BitMap） 例：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。 需求分析:Int类型在Java中的存储占用4个Byte,32Bit,如果在内存中定义40亿个int类型数组来读取文件，占用大小:(40*100000000*4/1024/1024/1024)G=14.901G。这已经远远超出了机器的内存限制，这时候常
位图法
qq_41552331的博客
08-19 1091
位图法 位图法就是bitmap的缩写，所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。 应用场景 一、给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中。 解法： 我们可以申请512MB内存（51210241024（bit）>40亿）一个比特位代表一个值 读入40亿个数，设置相应的bit位 读入要查询的数，查看相应bit位是否为1，为1表示存在，为0表
位图算法(编程珠玑例题)
tianhellotk的专栏
03-15 966
输入：一个最多包含n个正整数的文件，最大不超过一千万，每个数最多只出现一次，数据之间没有明显的关联输出：升序排列的整数列表要求：只有大约1MB的内存可用，磁盘空间充足，运行时间最多不超过1分钟，10秒左右就可以不需要优化分析:1MB的内存只能存储大约250000个int型整数，远远低于1千万的要求，但是每个int型整数有32位，如果用第i位的0,1来表示数据i的存在与否，一千万的整数需要1000 0000/32=312500个整数，他们将占有312500*4=1250000个比特，即大约1.2MB的内存#i
面试题目总结(算法篇)
司徒剑南的博客
11-03 454
大数据： 1.40亿个非负整数找到没有出现的数字 解答：(1)使用bitmap位图，32位的int的范围是2的32次方，大概42亿，将40亿的整数进行映射为1，其他为0，新来的数据判断是否为1即可.。2的32次方bit=2的29个字节，大约500M。核心思想：将每一个数字映射成一个位。(2)将连续的数字进行压缩，比如：12356可以压缩成(1,3)和(5,2)，然后新来的数字进行类似于二分查找，算...
40亿个有序不同的数的文件中找一个缺失的数
weixin_33834628的博客
11-08 119
编程珠玑第二题。。。 如果是用位图的话。。。 如果内存不够，那么就需要二分，注意思想就是先找到中间数mid，然后把文件以mid分为两个文件，肯定丢失的数在数目小的那个文件中，然后递归去那个小的文件中找就行了。 复杂度是o(2n)  n+n/2+n/4+n/8+..... 看了别人写了一个代码： int split(int* a, int* b, int*c, int alen, in...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值