海量数据TopN问题

最新推荐文章于 2022-06-09 21:15:54 发布
最新推荐文章于 2022-06-09 21:15:54 发布
阅读量217 收藏
点赞数
分类专栏： # 数据结构和算法题 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_34715587/article/details/123164100
版权

1. 在十万的数字中找出前100？

答：快排patition+二分，堆

2. 10亿的数字找前10万，空间给1亿？

答：（分治法加堆），时间复杂度klogk

3. 100亿数字找前10亿，空间1亿？

答：这个问题不是算法问题了，应该是在问工程上的实现，基本得靠切分到多台机器并行运算来解决，具体怎么做，看下那个64马找前四的问题。

总之，对于海量数据问题，都是用的“map-reduce”的思想来分而治之，分开局部处理，之后再汇总起来计算。

参考：

海量数据中的TOPK问题小结 - Excaliburer - 博客园

海量数据处理之top K问题 - 做个快乐的自己 - 博客园

海量数据中的TopK问题_眼映星辰的博客-CSDN博客_海量数据topk问题

Schuyler_yuan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
海量数据TopK问题
weixin_44915811的博客
04-20 398
TopK问题：在大量的数据中找出前k个最大值或者最小值 对于海量数据，如果我们只需要找出其中最大的k个或者最小的k个，怎样才能找出呢？ 假设我们对所有的数据进行排序，时间复杂度（快速排序）：O(nlog2n); 如果这是数亿个数据，那这样的方法也就不那么高效了 哪哈有没有更加高效的方法呢？ 利用堆来解决TopK问题（以最大的k个举例） 我们知道大根堆的堆顶是堆中的最大元素；...
海量数据top K问题
lizhao007
03-25 1069
在很多的大规模数据处理中，经常会遇到的一类问题就是在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这种问题被称为top K问题，例如在搜索引擎中，统计搜索搜索最热门的10个查询词或者统计下载率中下载最多的东西。 　　对于top K类 问题一般有两种方法： 　　1.分治+Trie树 　　2.hash+小顶堆 　　举例说明：有1亿个浮点数，如何找出其中最大的10000
算法基础：海量数据处理——TopN问题
ReturnTmp的博客
06-09 1456
算法基础：海量数据处理——TopN问题
海量数据问题总结
wanger61的博客
11-23 351
一.频次统计/top1/topK/问题 这种问题通用的四步解决： 第一步：Hash映射。对要统计的对象取Hash值，将该Hash值对K取模，根据取模结果将原本的大文件分割为K个小文件。 第二步：Hash统计。在每个小文件中，利用Hash表统计对象的频次，这里要保证内存足够存放所有不同对象。（也可利用trie树进行频率统计） 第三步：堆排序。对于TOPK问题，建立大小为K的最小堆，然后逐个读入统计后的对象，如果对象频次大于堆顶，则移除堆顶，将该元素加入堆中。由于堆的调整时间为log(K),因此遍历所有元素的
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
热门推荐
yofer张耀琦的专栏
08-16 11万+
前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。         先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆
海量数据处理 - 10亿个数中找出最大的10000个数（top N问题）
东城庞太师
11-21 1607
前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。 ...
寻找最优的topn算法
10-25
在大量的数据记录中，依据某可排序的记录属性（一般为数字类型），找出最大的前N个记录，称为 TopN问题。这是一个常常遇到的问题，也是一个比较简单的算法问题，却很少能有人能写出最优化的 topn算法。本文对常见的TopN算法，进行分析比较，最后给出最优的TopN算法：基于小根堆的筛选 法.
大数据量,海量数据处理
最新发布
08-29
大数据量、海量数据处理是一种常见的数据处理问题，在近年来随着数据量的急剧增加，如何高效处理大数据量数据成为一个热门话题。以下是对大数据量处理的一些常见问题和解决方法的总结： 1. 根据给定的两个文件A和B...
对海量数据的高效Top-k检索
03-03
在处理大数据环境下，高效的Top-k检索技术是解决海量数据中寻找最有价值数据点的关键问题。Top-k查询是许多应用场景中不可或缺的操作，它的作用是从潜在的巨大数据空间中返回一组有趣的点集合。在Top-k查询中，会...
海量数据查找数据问题
04-21
本篇文章将详细探讨如何解决"海量数据查找数据问题"，并着重讨论如何在海量数据中寻找中位数以及查找特定的数。 首先，我们来关注如何在海量数据中找到中位数。中位数是一组数据的代表值，它能够反映出数据的整体...
10道海量数据处理题目.pdf
08-27
海量数据处理是信息技术领域的重要课题，特别是在大数据时代，如何高效地处理海量的数据成为了技术的关键。以下将详细讨论给定文件中提到的四个海量数据处理题目及其解决方案。 1. 提取出某日访问百度次数最多的IP ...
sqlserver海量数据TOP分页
02-24
综上所述，通过巧妙地运用`TOP`、`ROW_NUMBER()`和JDBC、Servlet，我们可以高效地处理SQL Server中的海量数据分页问题。在实际应用中，还需注意优化数据库索引、合理设计数据库表结构，以及考虑并发和性能监控，确保...
海量数据找topN
iwtbs
03-05 1162
文章目录从10亿个数据（int型占据4B）中找中位数，内存限制为1GB从10亿数中选取前1000大的数字 从10亿个数据（int型占据4B）中找中位数，内存限制为1GB 不可能一次性把数据全部加载到内存中，再使用快速排序算法，因为10亿*4B大约为4GB，内存不够 可以一次性读入1GB的数据（分10次读取），然后对读入的1GB数据按照最高位即第32位的值进行分类并写入文件，如果最高位是1，写入fi...
面试必须掌握的十个海量数据问题及解决方案
hitxueliang的专栏
08-08 1万+
原文链接：BAT直通车-海量数据专题更多精彩内容(BAT招聘、笔试、面试、技术)，请访问BAT直通车题目问题一：现有海量日志数据，要提取出某日访问百度次数最多的那个IP(可以将题干简化，假设日志中仅包含IP数据，也就是说待处理的文件中包含且仅包含全部的访问IP，但内存空间有限，不能全部加载，假设只有512MB)解决方案：这是一道典型的分治思想的题目，这种问题处理起来套路比较固定，对于大部分的数据量比
大数据求TopN的优化算法
爱科学，爱生活
04-06 6647
35匹马选前三名问题 有35匹马,要通过跑马（不借助其他工具）确定前三名,每次可以跑6匹,如何设计一个算法使得跑的次数最少?期望答案是7次，具体过程自己百度，但是这个算法可以作为优化大数据求TopN的算法。
海量数据快速查找出现频率topN
jinjin603的博客
11-29 1394
海量数据寻找出现频率最多的topN，且内存受到限制，该如何处理呢？主要思想就是分治。如果使用框架处理，hadoop的MapReduce运算框架是可以解决的，且是分布式的处理。但是单机版该如何处理呢。空闲时间使用python3实现了一版，做一下记录。 import collections import re import sys import time """ 找出一个超大文件中出现频率最高的10...
大数据量获取topn解决方案
那些疯狂到以为自己能够改变世界的人，才能真正改变世界！
12-20 4208
/** * list类型有序的存储 * @author wWX154783 */ public class LimitStorageList { private long maxTopN;// topN最大值 private List topNList;// 存储topN的list public LimitStorageList() { } pub
面试经典的海量数据处理（TOPK）问题—转载+个人见解！
Much effort, much prosperity.
04-17 9434
常见问题： ①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。 ②重复问题：BitMap位图 或 Bloom Filter布隆过滤器 或 Hash_set集合。每个元素对应一个bit处理。 ③排序问题：外排序 或 BitMap位图。分割文件+文件内排序+文件之间归并。
大顶堆、小顶堆及其建堆过程、堆排序
魔筝炼药师
04-10 1万+
定义 按照堆的特点可以把堆分为大顶堆和小顶堆。 大顶堆：每个结点的值都大于或等于其左右孩子结点的值； 小顶堆：每个结点的值都小于或等于其左右孩子结点的值。 （堆的这种特性非常的有用，堆常常被当做优先队列使用，因为可以快速的访问到“最重要”的元素） 我们用简单的公式来描述一下堆的定义就是： 大顶堆：arr[i] >= arr[2i+1] && arr[i] >= arr[2i+2] 小顶堆：arr[i] <= arr[2i+1] && arr[.
海量数据处理面试与方法：Top K问题解析
"这篇文章主要介绍了在大规模数据处理面试中可能会遇到的问题和解决策略，包括如何处理海量日志数据，以及如何统计最热门的查询串。文章由July、youwang、yanxionglu三位作者撰写，发布于2011年3月26日。" 在大规模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值