10亿数据找出前100大的数据

最新推荐文章于 2022-04-22 15:02:46 发布
最新推荐文章于 2022-04-22 15:02:46 发布
阅读量3.1k 收藏 6
点赞数 2
分类专栏： 算法设计 计算机基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41727218/article/details/88321561
版权

方法1：利用堆排实现

  1. 取前m个数，建立一个小根堆。建堆的时间复杂度为O(mlogm)
  2. 顺序读取后边的元素，如果该元素比堆顶的元素小，直接丢弃。如果大于堆顶的元素则替换它，然后调整堆，最坏的情况是每一次都需要调整堆。时间复杂度为O(nlogm)。n为数据总数，m表示前m大的数。

方法2：快排划分的思想

  1. 首先对数据进行划分，并且划分之后，持续对基准右边的数据继续递归
  2. 直到右边的数据小于100，然后返回上一层，并返回该区间的数目n。
  3. 对上一层数据左边的数据继续进行划分，此时划分的目的就是找出前100-n大的数据
  4. 递归上述步骤，直到前100大的数据调整到整个数组的右边

方法三：数据分块

将一亿个数据划分为100块，每块有100万个数据，然后对每一部分分别找出前100个，最后在100*100个数据中找出前100大的数据

CC_YXK
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据量,海量数据处理
08-29
10. 给定一个文本文件，也是找出前十个最经常出现的词，但这次文件比较长，说是上亿行或者十亿行，无法一次读入内存，需要最优解。解决方法是使用MapReduce来统计每个词的频度，然后使用堆排序来输出频度最高的词。 ...
TOPN问题 十万级数据取前K大的数据解法
weixin_44137652的博客
06-01 654
n+1的数组来存储二叉树，其中扣除输入的n和d后为O(n)的空间复杂度。之后，我们使用分治算法在O(log(n))的时间复杂度内对二叉树中的节点进行排序，得到前100大的数字，并输出到终端。在构建好二叉树之后，从根节点开始遍历，不断选择左右节点中的最大值，直到找出前k大的数字。上述代码中，首先使用快速排序算法对n个数字进行排序，其中快速排序的时间复杂度为O(n。在10万个数字中寻找前100大的数字，输出最大的前 d个数到终端，并输出比较的次数。log(n))，空间复杂度为O(n)，比较次数为2。
10亿数据找到前100大的数（Top K问题）
诸葛搏毅
04-22 1422
Top K问题 在大规模数据处理中，经常需要处理Top K问题：在乱序数据中找到前K个数据。例如在海量搜索结果中找到权重最高的前K个结果。 针对Top K类问题，通常最好的方案是使用分治 + 小顶堆。即先将数据集用Hash方法拆解成多个小数据集进行分治，然后用小顶堆在每个数据集中找到最大的前K个数，最后在所有小数据集的Top K数中通过系统排序找到最终的Top K个数。 问题描述 在10亿行浮点数的文件中找到最大的前100个数字。 为后续计算复杂度，我们记n数据总长度，K为需要取出的最大值的个数。 思路一：
【堆排序思想】找出100万个数据中的前100大数据
Mr.zwX
04-16 2054
生成随机数据存入txt文件中 首先在c++代码的文件下新建一个txt文件，命名为test.txt，然后在generate_random.cpp中写如下代码： #include<bits/stdc++.h> const long long N = 1000001; using namespace std; long long x[N]; int main(){ fstream fso...
堆排序。利用堆排序选出10W条数据中前100大
weixin_42681513的博客
10-27 802
golang堆排序。利用堆排序选出10W条数据中前100大 话不多说，请直接看代码 注意：这里rand引入的包请使用crypto/rand，不要使用math/rand package main import ( "crypto/rand" "fmt" "math/big" ) func createRand() int { result, _ := rand.Int(rand.Reader, big.NewInt(100)) return int(result.Int64()) } //建立
vue数组操作
sunms
04-15 6005
数组的响应式方法： push()：从数组最后面添加元素 unshift()：从数组最前面添加元素 pop()：从数组最后一个元素开始删除 shift()：从数组第一个元素开始删除 splice(start,deleteCount)：从start开始删除deleteCount个元素 splice(start,deleteCount,…value)：从start开始替换deleteCount个元素，后面跟上要替换的元素。 splice(start,0,…value)：从start开始插入value,后面跟上要添
面试之大数找关键值（如从10亿个浮点数中找出最大的1万个）
06-09
"面试之大数找关键值（如从10亿个浮点数中找出最大的1万个）" 本文讨论了一道常见的笔试面试题目：从10亿个浮点数中找出最大的1万个。这个问题看似简单，但实际上却具有很高的难度，因为处理如此大量的数据需要考虑...
十道海量数据处理面试题与十个方法大总结
08-22
五、给定 a、b 两个文件，各存放 50 亿个 url，每个 url 各占 64 字节，内存限制是 4G，让你找出 a、b 文件共同的 url？ 解决方案可以使用 Hash 表来统计每个 url 出现的次数，然后找出共同的 url。还可以使用...
面试中的大数据处理
10-05
问题实例：给你A、B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A、B文件共同的URL。如果是三个乃至n个文件呢？根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=...
数据挖掘与应用基本知识与概念汇总
02-27
它是根据人们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。　2000年7月，IDC发布了有关信息存取工具市场的报告。1999年，数据挖掘市场大概约为7.5亿美元，估计在下个5年内市场的年增长率...
js 数据截取
leng0920的博客
06-18 2148
getList(){ fast_request.get(`/api/applet/activity/top`,{},(res)=>{ letdata=res.data.data;//获取到数据 //data=data.slice(0,3);截取第一条到第三条数据 data=data.slice(3,data.length);//截取第四条到最后一条数据 if(res.data.code==0){ t...
大数据：随机生成10万个整数找出出现次数前一百的数
朱里安
12-04 3007
如何找出大数据中出现次数最多的前n位数
从一道笔试题谈算法优化
benny5609的专栏
05-03 973
引子        每年十一月各大IT公司都不约而同、争后恐后地到各大高校进行全国巡回招聘。与此同时，网上也开始出现大量笔试面试题；网上流传的题目往往都很精巧，既能让考查基础知识，又在平淡中隐含了广阔的天地供优秀学生驰骋。       这两天在网上淘到一道笔试题目（注1），虽然真假未知，但的确是道好题，题目如下：       从10亿个浮点数中找出最大的1万个。这是一道似易实难的题
从10亿个数中找出前100个最大的
weixin_42267411的博客
11-18 1140
谈从10亿个数中找出前100个最大的（阿里java二面） 10亿个浮点数大概占据3G左右的空间，因此全部一次性读入内存目前在个人PC上是不太现实的。本次讨论不考虑内存等等，只考虑算法。 如果一次性比较排序，然后输出前面最大的100个，那么众所周知，算法的时间复杂度不下于O(N logN)，此处的N为数的个数（10亿）。 如果用堆排序，由于堆排序像合并排序而不像插入排序，堆排序的运行时间为O(N logN);又像插入排序而不像合并排序，堆排序是一种原地排序。因此堆排序具有相对小的运行时间和占用相对小的额
js中实现截取数组的前几个元素以及后几个元素作为一个新数组的方法
热门推荐
qsj0606的博客
04-21 4万+
数组中的slice()和splice()方法都可以实现对数组截取 const arr=[1,2,3,4,5,6,7,8] //截取数组前三个元素 const sliceA=arr.slice(0,3) console.log('sliceA',sliceA)//得到[1,2,3] //截取数组后三个元素 slice方法 const sliceArr=arr.slice(-3) console.log('sliceArr',sliceArr)//得到[6,7,8] //slice(start,end)
从100亿条记录的文本文件中取出重复数最多的前10条
qq_26498709的博客
11-03 1万+
场景哈希分治法 这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中 这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个分析100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分 那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。实现思路 ipv4 地址是一个 32 位的整数，
从10亿个数字中找出最大的前100个数
haitaobiyao的博客
06-06 4344
先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。 优化的方法：可以把所有10亿个数据分组存放，比如分别放在1000个文件中。这样处理就可以分别在每个文件的10^6个数据中找出最大的10000个数，合并到一起在再找出最终的结果。 ...
有10亿个整数，要求选取重复次数最多的100个整数
The night of summer
09-25 4585
转自：http://blog.163.com/tianshuai11@126/blog/static/618945432011101611414734/ 要解答这个问题，首先要弄清楚下面几个条件。  （1）有内存限制吗？  （2）整数的范围是多少？有符号，无符号，32位还是64位？  （3）整数集的内容大吗？（即出现的整数空间的大小大吗？）  （4）如果只需要求模糊解，怎么解？ 
海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）
wandou9527的博客
09-04 9361
在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。 此类问题其实就是Top K问题。 给定一个数据（数据量海量 N），想找到前 K 个最大的或最小的元素。 eg：有10亿个Long型整数，如果找出其中最大的10个？ 最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。每个Long类型占8个字节，10亿个数就要占用7GB+的存储空间，对于一些可用内存小于7GB的计算机而
100亿数据找出最大的一百个的java代码
最新发布
08-17
要在100亿数据中找出最大的一百个，可以使用堆排序算法实现。堆排序利用了堆的性质，能够以时间复杂度O(nlogn)找到最大的一百个数。 首先，我们创建一个大小为一百的最小堆，并将堆中的元素初始化为前一百个数据。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值