100亿个整数，内存足够，如何找到中位数？内存不足，如何找到中位数？

最新推荐文章于 2024-08-13 10:15:16 发布
最新推荐文章于 2024-08-13 10:15:16 发布
阅读量1.7k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 笔试面试题汇总
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ONE_PIECE_HMH/article/details/52174771
本文探讨了在内存足够和不足的情况下如何找到整数序列的中位数。内存充足时，可以使用类似于快速排序的算法，通过随机选取元素并不断分割数组来找到中位数。内存不足时，可以采用二分法或分桶法。二分法通过缩小搜索范围逐步逼近中位数，分桶法则通过划分区间和计数确定中位数位置。同时，文章还介绍了快速排序及其衍生的寻找前k个最大数的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先必须清楚中位数的定义：

中位数（又称中值，英语：Median），统计学中的专有名词，代表一个样本、种群或概率分布中的一个数值，其可将数值集合划分为相等的上下两部分。对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。

然后这个题答案：

最低0.47元/天 解锁文章
场景应用：100亿的数据你怎么排序
流楚丶格念的博客
09-15 8346
针对这些划分之后还是比较大的文件，我们可以继续划分，比如，订单金额在1元到1000元之间的比较多，我们就将这个区间继续划分为10个小区间，1元 到100元，101元到200元，201元到300元…1.把这个37GB的大文件，用哈希分成1000个小文件，每个小文件平均38MB左右（理想情况），把100亿个数字对1000取模，模出来的结果在0到999之间，每个结果对应一个文件，所以我这里取的哈希函数是 h = x % 1000，哈希函数取得"好"，能使冲突减小，结果分布均匀。大佬就是棒，一天一个新花样。
java 千万数据排序取top_海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）...
weixin_33977645的博客
02-26 2193
在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。此类问题其实就是Top K问题。给定一个数据(数据量海量 N)，想找到前 K 个最大的或最小的元素。eg：有10亿个Long型整数，存储在文件中，如果找出其中最大的10个？最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O(nlogn...
100亿个整数如何找到中位数？内存足够和内存不足两个场景
天才小站
12-24 2306
100亿个整数，内存足够，如何找到中位数？内存不足，如何找到中位数？ （1）当内存足够时： 采用快排，找到第n大的数。 • 随机选取一个数，将比它小的元素放在它左边，比它大的元素放在右边 • 如果它恰好在中位数的位置，那么它就是中位数，直接返回 • 如果小于它的数超过一半，那么中位数一定在左半边，递归到左边处理（还是第几大） • 否则中位数一定在右半边，根据左半边的元素个数计算出中位数是右半...
100亿个数中寻找中位数
Frozen_Wang的博客
10-17 7383
题目： 在一个大文件中有100亿个32位整数，乱序排列，要求找出中位数；内存限制为512M；请写出算法设计思路； 基本分析： （1）中位数的定义：一个给定排序好的序列，奇数个的话，我们就取中间的一个；偶数个的话，我们一般取中间两个数的平均值；因此对于本题，我们需得到中间的第50亿和第50亿+1这两个数； （2）首先512M的内存，如果都来装这个32位整数的话，可以存储2^(9+10
求100亿个数的中位数
默默无闻小葱的博客
09-08 1940
1、题目描述 给定100亿个无符号的乱序的整数序列，如何求出这100亿个数的中位数（中位数指的是排序后最中间那个数）。 2、解题思路一 一个无符号整数的大小为4B，则100亿个数的大小为40GB，如果内存够大的话可以对这100亿个数加载到内存中，然后使用堆排序或者快速排序进行排序，取出中位数即可。使用快排时，每次划分之后只需要比较枢纽值的索引和50亿比较，然后只对两个划分中的一...
仅用10MB内存，你能从100亿个数中找到中位数吗？
孤芳不自赏
08-13 616
在大数据处理的世界中，内存限制往往是我们无法回避的难题。今天，我将带你深入探讨如何在仅有10MB内存的情况下，从100亿个整数中高效地找到中位数。通过分治法和二进制位划分，我们不仅能巧妙解决这个问题，还能拓展思路，轻松应对更多复杂的算法挑战。
大数据中位数怎么运算_转:海量数据找中位数
weixin_30276247的博客
12-28 1911
题目如下：只有2G内存的pc机，在一个存有10G个整数的文件，从中找到中位数，写一个算法。算法：1.利用外排序的方法，进行排序 ,然后再去找中位数2.另外还有个思路利用堆先求第1G大，然后利用该元素求第2G大，然后利用第2G大，求第3G大...当然这样的话虽不需排序，但是磁盘操作会比较多，具体还需要分析下与外排序的效率哪个的磁盘IO会比较多建立一个1g个整数的最大值堆，如果元素小于最大值则入堆，这...
大数据中位数怎么运算_大数据查找中位数
weixin_31443757的博客
12-28 3201
前两天同学面试遇到的一道题，大数据怎么找出中位数。大数据 --> 所有数据不能一下子读入内存中位数 --> 需要遍历所有数据1. 题目在一个大文件中有100亿个32位整数，乱序排列，要求找出中位数；内存限制为512M；请写出算法设计思路；2. 基本知识b --> bit 比特，位(二进制中的位)B --> Byte 字节，1个字节=8位，1B=8bitK --> K...
100亿个整数，找出中位数
鸟恋旧林的博客
07-26 1万+
100亿个整数，内存足够，如何找到中位数？内存不足，如何找到中位数？ （1）当内存足够时：采用快排，找到第n大的数。 • 随机选取一个数，将比它小的元素放在它左边，比它大的元素放在右边 • 如果它恰好在中位数的位置，那么它就是中位数，直接返回 • 如果小于它的数超过一半，那么中位数一定在左半边，递归到左边处理（还是第几大） • 否则中位数一定在右半边，根据左半边的元素个数
腾讯面试题：10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。
weixin_30723433的博客
04-13 1457
腾讯面试题：10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。 题目和基本思路都来源网上，本人加以整理。 题目：在一个文件中有 10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。只写出思路即可（内存限制为 2G的意思就是，可以使用2G的空间来运行程序，而不考虑这台机器上的其他软件的占用内存）。 关于中位数：数据排序后，位置在最中间的数值。即将数据分...
在一个文件中有10G个整数，乱序排列，要求找出中位数。内存限制为2G。
luo2010的专栏
05-19 445
解法：首先假设是32位无符号整数。1. 读一遍10G个整数，把整数映射到256M个区段中，用一个64位无符号整数给每个相应区段记数。说明：整数范围是0 - 2^32 - 1，一共有4G种取值，映射到256M个区段，则每个区段有16（4G/256M = 16）种值，每16个值算一段， 0～15是第1段，16～31是第2段，……2^32-16 ～2^32-1是第256M段。一个64位无符号整数最大值是...
100亿个数字中找出最大的10个
热门推荐
nameix的博客
07-24 3万+
100亿个数字找出最大的10个 1、首先一点，对于海量数据处理，思路基本上是：必须分块处理，然后再合并起来。 2、对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。 3、分块处理，再合并。也就是Google MapReduce 的基本思想。Google有很多的服务器，每个服务器又有很多的CPU，因此，100亿个数分成100块，
经典面试题-出现最多的十个数
leibniz_zhang的博客
06-07 4040
有1/10/100 亿个 数/字符串(URL)，找到其中出现次数最多的10个 数/字符串(URL)解决思路：    1.通过hash取模的方式分成电脑可以运行的数据大小；    2.在每一块中排序，然后使用一个最小堆维护出现次数最多的几个；    3.取所有的块中出现次数最后的十个 数/字符串。先运用hadoop中的mapreduce来解决一波--开始生成了10亿个数的文件 (大概6G多)，然后放...
100亿个数字找出最大的10个
shenstone2012的专栏
12-21 1371
1、首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。 2、对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。 3、分块处理，再合并。也就是Google MapReduce 的基本思想。Google有很多的服务器，每个服务器又有很多的CPU，因此，100亿个数分成100块，每个服务器处理一块，1亿...
大数据查找中位数
li-zhang-yu的博客
06-24 501
所有数据不能一下子读入内存 中位数 --> 需要遍历所有数据 2. 基本知识 b --> bit 比特，位（二进制中的位） B --> Byte 字节，1个字节=8位，1B=8bit K --> KB 千字节，1KB = 1024B M --> MB 兆字节，1M = 1024KB = 1024*1024B G --> GB 1GB = 1024MB、 问题分析： 100亿个32位整数，那么占用内存为： 100亿*32 b = 100亿*32/8 B.
海量数据处理学习
你的BoyZ的博客
07-05 553
海量数据处理学习 前言 本篇博客学习一下常见的海量数据处理的问题。还记得博主去年面试度娘的时候就考了一道。题目大概的意思就是有一个很大的文件，文件中是一串数字，在有限内存的机器下，怎么将这个很大内存的文件排序。当时说了归并排序，感觉没说到重点。遂来学习学习。 如何从大量的 URL 中找出相同的 URL？ 题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 1. 分治策略 每个 URL 占 64B，那么
在海量数据处理场景中，如何设计高效的算法来查找一个大数据集中所有数的中位数？请结合具体案例提供实现思路。
最新发布
11-10
要解决海量数据集中的中位数查找问题，传统的方法如直接排序然后查找中位数，由于其时间复杂度较高且不适合大数据量处理，因此需要采用更加高效的算法。推荐您阅读《微软面试100题：数据结构与算法解析》，其中详细讨论了在大数据环境下如何处理此类问题。 参考资源链接：[微软面试100题：数据结构与算法解析](https://wenku.csdn.net/doc/6xrgibxr7g?spm=1055.2569.3001.10343) 首先，可以考虑分布式计算方法，将数据分散到多个服务器上进行处理。例如，使用外部排序算法配合归并排序的策略，可以将大规模数据集分散到多个机器上进行局部排序，然后通过网络进行归并排序找出中位数。 另一种有效的方法是使用“数据抽样+概率算法”。例如，采用“中位数的中位数”算法，这是一种随机选择算法，首先从数据集中随机选取一组数，找出这组数的中位数作为“候选人”，然后根据候选人与数据集中所有数比较的结果动态调整候选人的范围，最终逼近真实的中位数。 还有一种方法是使用“空间换时间”的思想，利用哈希表或其他数据结构进行计数，记录每个数值出现的次数，再通过累加计数找到中位数位置。这种方法在数据范围有限时特别有效，例如用Bit-map来处理有限范围内的整数集合。 以一个具体的案例来说，假设有10亿个浮点数，我们需要找出这些数的中位数。首先可以根据浮点数的范围将它们分桶存储，每桶包含一定范围内的数值。然后通过并行计算的方式，在每个桶内计算中位数，最后在所有桶的中位数中找到全局的中位数。 通过这些策略，我们可以有效地解决大数据集中中位数查找的问题。如果您想了解更多关于数据结构、算法以及海量数据处理的知识，《微软面试100题：数据结构与算法解析》是一份宝贵的学习资源，它不仅提供了实际面试题目的解析，还深入讨论了各种问题的算法思路和优化方法，非常适合在准备面试时使用。 参考资源链接：[微软面试100题：数据结构与算法解析](https://wenku.csdn.net/doc/6xrgibxr7g?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值