海量数据排序，海量数据中找出topK问题等

最新推荐文章于 2023-05-27 23:36:40 发布
最新推荐文章于 2023-05-27 23:36:40 发布
阅读量219 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27198345/article/details/108085358
版权

海量数据排序，海量数据中找出topK问题等

面试中常常涉及到的一些问题。
硬盘中存储了海量数据，远远超出内存的容量，应该怎么处理，将这些数据排序，或者超出top K；
海量的IP地址处理，怎么找出访问次数最多的IP地址；
统计各个IP地址访问的次数；
…

海量数据排序
海量数据中的topK问题
Kant101
关注
海量数据top K问题
lizhao007
03-25 1093
在很多的大规模数据处理中，经常会遇到的一类问题就是在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这种问题被称为top K问题，例如在搜索引擎中，统计搜索搜索最热门的10个查询词或者统计下载率中下载最多的东西。 　　对于top K类 问题一般有两种方法： 　　1.分治+Trie树 　　2.hash+小顶堆 　　举例说明：有1亿个浮点数，如何找出其中最大的10000
java 千万数据排序取top_海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）...
weixin_33977645的博客
02-26 2103
在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。此类问题其实就是Top K问题。给定一个数据(数据量海量 N)，想找到前 K 个最大的或最小的元素。eg：有10亿个Long型整数，存储在文件中，如果找出其中最大的10个？最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O(nlogn...
海量数据中找出前k大数（topk问题）
cxm4399的博客
09-04 341
https://blog.csdn.net/zyq522376829/article/details/47686867 https://blog.csdn.net/u012129558/article/details/51531796
海量数据找topK
沉下心来，戒骄戒躁
01-09 339
去百度面试问了道题： 海量数据找N个最小的，算法实现，时间复杂度? 方法一：（分治） 分成M份，前提每份都是可以读到内存处理的 把读入内存，使用快排分别找到前N个数 最后相当于有M*N个数 如果M*N不能读入内存那么继续分治处理 M*N可以读入内存那么就可以使用快排处理了 方法二：（去重） 使用hash去重，排除重复数据，然后再分治处理
海量数据求top K
长期更新自学笔记
05-12 428
文章目录一、大根堆/小根堆二、快排分割三、海量数据查重和topK的综合应用1. 题目1：数据的重复次数最大/最小的前K个/第K个2. 题目2：有一个大文件，内存限制200M，求文件中重复次数最多的前10个 top K问题：给定10000个整数，找出前10大的元素 一、大根堆/小根堆 先用前10个整数创建一个小根堆（最小值就在堆顶），然后遍历剩下的整数，如果整数比堆顶元素大，那么堆顶元素出堆，然后再把整数入堆，遍历完所有整数，小根堆里面放的就是值最大的前10个元素了 大根堆淘汰大的，用于找top K小的；
海量数据TopK问题
weixin_45394002的博客
03-18 1290
海量数据中找出前k大数（topk问题） 海量数据中找出前k大数（topk问题） 前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复
海量数据topk问题1
08-04
在处理海量数据时，TopK问题是一个常见的挑战，特别是在机器学习和数据分析中。它涉及到找出数据集中出现频率最高的前K个元素或者数值最大的前K个元素。这个问题在大数据场景下尤为棘手，因为直接一次性加载所有数据...
java-Top K问题「海量数据中筛选出最大或最小的10个数」
m0_46325101的博客
01-19 872
java 优先级队列 PriorityQueue可实现自动排序功能 数据结构：小顶堆 堆在做海量数据中筛选出排好序的几个元素是最合适的数据结构！！！ 源码和原理： https://baijiahao.baidu.com/s?id=1665383380422326763&wfr=spider&for=pc 1. 海量数据中筛选出最大或最小的10个数 package com.eaglefly.common.service; import org.junit.Test; import jav
海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）
wandou9527的博客
09-04 9654
在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。 此类问题其实就是Top K问题。 给定一个数据（数据量海量 N），想找到前 K 个最大的或最小的元素。 eg：有10亿个Long型整数，如果找出其中最大的10个？ 最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。每个Long类型占8个字节，10亿个数就要占用7GB+的存储空间，对于一些可用内存小于7GB的计算机而
java寻找top10_海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）
weixin_36329818的博客
03-02 2611
在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。此类问题其实就是Top K问题。给定一个数据(数据量海量 N)，想找到前 K 个最大的或最小的元素。eg：有10亿个Long型整数，存储在文件中，如果找出其中最大的10个？最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O(nlogn...
海量数据TOP K问题
qq_20846769的博客
01-17 326
含义 在海量数据找出频率最高的前k个数，或从海量数据中找出最大的前k个数， 1.利用堆找出最大的K个数 　　首先，先理解下用堆找出最大的K个数的常用解法，例如问题是“从M(M <= 10000)个数中找出最大的K个数” 利用最大堆 （适合于M规模不大的场景） 　　建立一个N=M大小的大顶堆，然后输出根节点之后，将根节点删除，然后再将剩余的元素调整成大顶堆；依次重复K次这个过程，最终就找出了K个最大的数。这实质上就是堆排序的过程。这种方法的时间复杂度为O(K *logM) 利用最小堆(适用于小内
从海量数据中寻找出topK的最优算法代码
randy_01的博客
12-12 364
从海量数据中寻找出topK的最优算法代码 package findMinNumIncludedTopN;/*** 小顶堆* @author TongXueQiang* @date 2016/03/09* @since JDK 1.8*/public class MinHeap {int[] heap;int heapsize; pu...
在海量数据中寻找topK的一些思路分析
mbskyhan的专栏
03-20 231
求前k个数从大数据量里面排序的前k个数,topk. 思路1：维持k大小的数组数，然后求出数组的这个数组的 最小值，当再输入k+1个数的时候，和最小的值比较，如果 大于最小的值，则替换原先的最小值放入数组中。 对于时间复杂度首先是先k个数比较k次 然后对于每个数N-k都需要进行k次比较（N-K）k 则总共是k+(N-K)k算法复杂度 思路2：如果需要NlgK的复杂度则如何设计算法 设计小顶堆的概念每次都和堆顶元素比较向下调整 ...
海量数据中找出前k大数（topk问题），一篇文章教会你
最新发布
陈大大陈的博客
05-27 2287
正常思路是把这N个数建成堆，然后 pop k次，即可找到最大的前k个值。 但是有些场景，上面的思路解决不了，比如N非常大的情况。 假设N是10亿，k是100，就不可能运行出结果。 因为如果这样建成堆的话，所占用的空间太大了。 10亿个整数需要多大的空间？答案是4GB。 4GB的内存啥电脑来了也吃不消，再说100亿，1000亿呢？ 可见这不是一个可行的方法，咱们另辟蹊径。 我们知道，当数据很大时，它不会存在内存上，而是转而储存在磁盘文件里，所以我们的思路就转向磁盘文件。 磁盘中能建堆吗？答案是
海量数据——TopK问题
ypt
03-27 1911
TopK问题是一个经典的海量数据处理问题，比如微博热搜每隔10分钟都会更新出排行前10的热门搜索信息，再或者通过大数据找出一个地区最爱吃的水果等，都可以使用TopK问题来解决，其核心思想就是最小堆的引入。TopK问题分析在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通常被称为TopK问题。下面我们通过一个简单的例子来说明：假如面试官给你100W个数据，请找出其...
海量数据的TopK问题
雪村一郎的博客
08-23 621
从海量数据中找出最大的前K个数 一个基本的是思想是分治法，将1亿个数据分成100份，每份100万个数据，找出每份中最大的100个，最终可以在这100*100个数据中找出最大的100个。 快速排序法 我们知道，快排一次的结果是分界点前面的数据比他小，分界点后的比他大，我们可以做如下的讨论 如果分界点后面的数据个数大于k个，那么可以在后面的数据中重复上述过程 如果分界点后面的数据个数小于
海量数据的topK问题
wh柒八九的博客
10-05 948
本文来说下在海量数据下的topK问题 文章目录概述 概述
海量数据处理面试题解析：TopK算法与分而治之策略
最后，遍历这1024个哈希表，找出每个小文件中最频繁的IP，再对这1024个IP进行一次排序，确定全局出现次数最多的IP。 2. **统计最热门的10个查询串** 这个问题涉及到TopK算法的应用。首先，使用哈希表在O(N)的时间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值