40亿个整数，求上中位数

最新推荐文章于 2021-09-09 14:19:10 发布
最新推荐文章于 2021-09-09 14:19:10 发布
阅读量1.3k 收藏
点赞数
分类专栏： 左程云老师算法 文章标签： 大数据 上中位数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YANG_Gang2017/article/details/77992212
版权

40亿个大整数，组成大文件。

想找到其中，上中位数。


内存，10MB，怎么办？

内存，20K，怎么办？

内存，有限的几个字符，怎么办？

条件：按行读文件，这个动作假设不占用内存。


40亿个整数，每个4字节，160亿字节，大约16G。

第一、不要从个数下手，要从范围下手。

如果是无符号整数：0至42亿，则表示1个整数的

最低0.47元/天 解锁文章
贝贝爱豆豆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
40亿个非负整数中找到未出现的数
01-07
32位无符号整数的范围是0 ~ 4 294 967 295，现在有一个正好包含40亿个无符号整数的文件，所以在整个范围中必然有未出现过的数。怎么找到所有未出现过的数？ 要求： 可以使用最多1GB的内存。 进阶： 内存限制10MB，但是只用找到一个没出现过的数即可。 常规方法：假设用哈希表来保存出现过的数，那么如果40亿个数都不同，则哈希表的记录数为40亿条，存一个32位整数需要4B，所以最差情况下需要40亿×4B = 160亿字节，大约需要16GB的空间，不符合要求。 思路： ① 使用bit map的方式来表示数出现的情况，申请一个长度为4 294 967 295的 bit 类型的数组 bit
海量数据处理问题https://www.pianshen.com/article/4806585395/
qq_40826814的博客
05-14 578
程序员大本营技术文章内容聚合第一站 首页 /联系我们 /版权申明 /隐私条款 技术标签：top k海量数据处理 海量数据的常见处理方法： Hash方法： 解决 哈希冲突的方法： Bit-map方法： 布隆过滤器： 倒排索引 外排序法： Trie树 Tr...
5亿个数找中位数
weixin_30776273的博客
11-29 339
找中位数最容易想到的方法就是，先对序列进行排序，取中位数，然而5亿个数要想全部读入内存需要将近2GB空间。 一种想法是采用外部排序的方法，在排序的过程中记录数据个数，找到中位数。首先采用hash() % 100,把数据分到100个文件中，然后对每个文件分别在内存中进行快速排序，再将100个小文件进行合并，并在合并过程中寻找中位数，时间复杂度是O(nlogn) 另外一种方法是，将数据按照数据空间...
算法面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？
数据之美的博客
09-25 6238
问题描述：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？ 问题分析：40亿 不重复 ，没有排序。 40亿个unsigned int的整数，放到内存中的话，大约是16G， (1)最直观的的解决办法，把所有的数据遍历一遍，找出那个数. 注意：这个方法是不可取的，因为把所有数据遍历一遍，要把所有的数据加载到内存中，16G的数据可...
漫画：如何判断一个数是否在40亿个整数中？
帅地
09-09 1302
文章来源于：https://wwww.iamshuaidi.com，一个专注于校招，面试，面经的编程网站 题目：我有40亿个整数，再给一个新的整数，我需要判断新的整数是否在40亿个整数中，你会怎么做？ 【请教大神】 小史回到学校，把面试的情况和计算机学院的吕老师说了一下。 小史忙拉着吕老师问，为什么我说分8次加载数据，面试官会说太慢了呢？ 吕老师：哈哈，从磁盘加载数据是磁盘io操作，是非常慢的，你每次都要加载这么大的数据，还要8次，我估计你找一个数的时间可以达到分钟甚至小时级.
40亿个非负整数中找到出现两次的数和所有数的中位数
01-07
32位无符号整数的范围是0 ~ 4 294 967 295 现在有40亿个无符号整数，可以使用最多1GB的内存，找出所有出现了两次的数。 补充问题： 可以使用最多10MB的内存，怎么找到40亿个整数的中位数？ 原问题： 可以用 bit map 来表示数出现的情况。 申请一个长度为 4 294 967 295 × 2 的bit类型的数组bitArr，1B占用8 个bit，所以长度为 4 294 967 295 × 2 的bit类型的数组占用1GB空间， 用2个位置表示一个数出现的词频。 怎么使用bitArr数组？遍历这40亿个无符号数。 ① 如果第一次遇到num，就把 bitArr[num2]
100亿个整数，内存足够，如何找到中位数？内存不足，如何找到中位数？
Steve Sun的专栏
05-19 2104
内存足够的情况： 可以使用类似quick sort的思想进行，均摊复杂度为O(n)，算法思想如下：  • 随机选取一个元素，将比它小的元素放在它左边，比它大的元素放在右边  • 如果它恰好在中位数的位置，那么它就是中位数，可以直接返回  • 如果小于它的数超过一半，那么中位数一定在左半边，递归到左边处理  • 否则，中位数一定在右半边，根据左半边的元素个数计算出中位数是右半边的第几大，然后
100亿个数中寻找中位数
Frozen_Wang的博客
10-17 7194
题目： 在一个大文件中有100亿个32位整数，乱序排列，要求找出中位数；内存限制为512M；请写出算法设计思路； 基本分析： （1）中位数的定义：一个给定排序好的序列，奇数个的话，我们就取中间的一个；偶数个的话，我们一般取中间两个数的平均值；因此对于本题，我们需得到中间的第50亿和第50亿+1这两个数； （2）首先512M的内存，如果都来装这个32位整数的话，可以存储2^(9+10
C++（面试题）：给40亿个不重复的无符号整数，没排过序，如何快速判断一个数是否在这40亿个数中
ETalien_的博客
06-08 2254
给40亿个不重复的无符号整数，没排过序，给你一个无符号整数，如何快速判断这个数是否在这40亿个数中？ 首先看到这个题第一个想到的就是遍历一遍，看这个数在不在。但是这样的时间复杂度太高了O(N)，数据量太大，因此该方法不行。 其次我们想到排序，利用二分查找，时间复杂度是O(logN)，但是排序本身就有很大的消耗，并且40亿个数据内存一次也存不下。 那么就采用位图！位图就是用来判断一个数据在不在的最好...
40亿个非负整数中找到出现2次的数和所有数的中位数
扎克begod的专栏
10-16 899
题目一：32位无符号整数的范围是0~4294967295，现在有40亿个无符号整数，可以使用最多1GB的内存，找出所有出现了两次的数。 题目二：内存限制在10MB,如何找到这40亿个整数的中位数。 解法思路：        依然bit 数组的思路，不过这次是双倍长度了，因为我们除了要记录这个数字，同时还有记录他出现的次数。但是这个次数要注意一下，看下文：      1、先建立new 一个bi...
解析bitmap处理海量数据及其实现方法分析
09-05
例如，在排序示例中，我们用1Byte（8位）来表示0-7这8个数字，通过设置相应的位，可以快速定位和处理数据。 2. **Bitmap实现方法** - **设置位**：在上述代码中，`SetBit`函数用于设置某一位为1。它首先计算出目标...
packhx:一个用于 Haxe 的压缩数组库
07-07
在需要整数数组但不需要使用整个最大整数值范围（大约 40 亿）的情况下，位打包很有用。 通过指定新的最大大小，Packhx 可以将给定的 Int32 数组单元用于多个值。 在下面的示例中，我们将 9 位打包值 i{0-9} 存储...
面试中的大数据处理
10-05
根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。 2.Hashing： Hashing是一种快速查找、删除的基本数据结构，通常需要总数据量可以放入...
用bitmap实现中位数的算法
蒋宇捷的专栏
05-07 4418
常见面试题之一：50亿个整数，内存限制为1G，找出中位数。50亿个整数用bitmap来存储的话，大约150M的空间就足够了。下面是具体的算法，用PHP实现。define("MASK", 0x1f);$source = array(1, 74, 4, 256, 1024, 110, 111, 112, 123, 112, 100);$array = array();$
求100亿个数的中位数
蓬莱道人的博客
03-15 4510
1、题目描述 给定100亿个无符号的乱序的整数序列，如何求出这100亿个数的中位数（中位数指的是排序后最中间那个数）。 2、解题思路一 一个无符号整数的大小为4B，则100亿个数的大小为40GB，如果内存够大的话可以对这100亿个数加载到内存中，然后使用堆排序或者快速排序进行排序，取出中位数即可。使用快排时，每次划分之后只需要比较枢纽值的索引和50亿比较，然后只对两个划分中的...
一个文件含有40亿个非负整数，使用10MB内存，找到一个不在该文件中的整数
花开无言
05-31 789
#include #include using namespace std; /* 使用位向量法解决，分成两次扫描文件，按照内存大小把数据分成若干块， 第一次扫描找到哪一块包含缺少的数据，第二次扫描找到那一块的位置 */ void findNumber() { int bitSize = 1024 * 1024; //每块存放2的20次方bit数据 int blockNum = 4096
给一个字符串，在后边最短添加什么，才能使得整体变成回文串
YANG_Gang2017的博客
09-09 2209
给一个字符串，在后边最短添加什么，才能使得整体变成回文串。（只能在后边添加） 比如:abc12321 添加为：cba 整体构成：abc12321cba(即为回文子串) 思路： 找必须包含最后一个词的最长回文子串，剩余部分，直接反序添加。 亮点：使用manacher算法，当某一个中心C第一次到达最后的时候，前边的地方逆序就行了。
编程任意输入40个整数，求其中任意整数之和
最新发布
04-22
好的，根据您的要求，我可以...您可以将40个整数输入到程序中，并且程序将计算它们的总和，并将结果输出到屏幕上。请注意，在输入40个整数时，请以空格分隔它们。 请注意，我会保护您的隐私，并不会泄露您对我的要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值