TopN问题

最新推荐文章于 2024-09-13 22:22:04 发布
最新推荐文章于 2024-09-13 22:22:04 发布
阅读量101 收藏 3
点赞数 3
文章标签： 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41879185/article/details/142170001
版权

100亿个integer数据，如何找到前k个最小值。

也就是问的如何排序最快

堆排序最快

完全二叉树

堆结构其实就是一颗完全二叉树

大根堆和小根堆

大根堆：每一个根节点都大于它的叶子结点

小根堆：每一个根节点都小于它的叶子结点

通过建立大根堆或者小根堆来实现topN的问题。

自顶向下建堆并且排序

也就是说从二叉树的根开始创建小根堆或大根堆，每次加入节点的时候都需要判断当前节点与根节点大小。就是一个频繁比较与交换的过程。

最终根节点就是最大或者最小的元素，取出二叉树根节点之后，然后将新节点放在跟根节点重新构建堆，再取二叉树的根节点。

最后剩一个节点结束。这样就完成了堆的排序。

结论

  • 1 首先取出前1w条数据建立最小堆（要考虑内存问题，不能将100亿条数据都读入内存）
  • 2 每次取出二叉树根节点存入文件当中
  • 3 重新构建堆，重复过程2
  • 4 直至100亿条数据都加入了二叉树中，此时只剩二叉树的节点。
  • 5 然后每次将二叉树的最后一个元素放入二叉树的根节点上，重复 2 3操作，直至剩余最后一个元素为止。
  • 6 我们的排序就结束了

爪哇天下
关注
【算法面试】TopN问题
nuoWei_SenLin的博客
02-01 1万+
竹石   作者：郑燮   咬定青山不放松，立根原在破岩中。 千磨万击还坚劲，任尔东西南北风。  前言  又到了一年一度的南北人口大迁移的时候，没有买票的赶紧买票，今年很早就已经回家准备过年了，因为小编已经离职啦，最近正在积极复习找工作，闲话不多扯，开始今天的正题。 面试题目：如何在10亿个整数中找出前1000个最大的数。  这就是有名的TopN问题，这样的问题有很...
SQL经典TopN问题解法
joe_lee1的博客
05-12 2558
SQL经典TopN问题解法1、关联子查询2、窗口函数3、设置用户变量来储存第N个数值4、limit语句 1、关联子查询 取最大值或最小值 SELECT * FROM score AS t1 WHERE 成绩 = (SELECT max/min(成绩) FROM score AS t2 WHERE t1.课程号 = t2.课程号); 取前两名 SELECT * FROM score t1 WHERE (SELECT COUNT( * ) FROM score t2
TOPN问题
人工智能曾小健
01-21 3358
TOPN问题 　　TOPN就是给出一个数组，找出前N个最大的元素。 　　比如： 　　　　1. 电商网站中找到每个商品分类下用户点击最多的5个商品是什么等等。 　　　　2. 给定一个几百G的Nginx访问日志文件，取出访问频率在top100的IP。 　　问题：有10000个数字，那么求出前n个最大的数？有几种解法 　　　　1. 先给数排序，然后截取前n个。不过这后面10000 - n个数字是不需要排序的。 　　　　2. 利用堆排序。 　　　　3. 先截取前n个数，然后n+1的数和这n个里面的最
大数据学习(算法) Top N问题
Braylon的博客
03-02 1596
文章目录简介那么这种题目或者这种问题到底解决的难点和关键点是什么？相关解法：真正的最优解。scala版本 简介 什么是TopN问题？ 举个例子： 怎么在几十亿的数字中找到前50个数字（升序或者降序）。 诸如此类问题都被成为topN问题。 那么这种题目或者这种问题到底解决的难点和关键点是什么？ 我们来分析，这种题目绝对不能把它当作简单的排序来做，题眼在于超大的数量级，这就是告诉你在内存中不能完...
从Top N 问题窥探MapReduce分组前排序思想
hello_java_noob_go的博客
04-05 2242
关于TopN 问题中的排序 MapReduce分组 MapReduce源码分析分组前排序原理
图解面试题：经典topN问题
公众号（猴子数据分析）
11-21 1983
工作中会经常遇到这样的业务问题：如果找到每个类别下用户点击最多的5个商品是什么？这类问题其实就是常见的：每组最大的N条记录(topN)。【题目】现有“成绩表”，记录了每个学生各科的成绩。表内容如下：问题：查找每个学生成绩最高的2个科目【解题思路】1.看到问题中要查“每个”学生最高的成绩。还记得我们之前课程里讲过的吗？当有“每个”出现的时候，就要想到是要分组了。这里是“每个学生”，结合表的结构，是按...
二、TopN问题解决方案
dengjiaxing0321的博客
01-03 1470
1、使用hadoop的map/reduce解决TopN问题（唯一键） 首先使用SequenceFileWriterForTopN函数生成sequence文件， SequenceFileWriterForTopN函数代码如下： package chap03.mapreduce; import java.io.IOException; import java.net.URI; import j
数据结构：线性表的顺序存储
weixin_74300052的博客
09-08 601
Hello,大家好，我是小珑也要变强（也是小珑），我是易编程·终身成长社群的一名“创始团队·嘉宾”和“内容共创官”,现在我来为大家介绍一下有关物联网-嵌入式方面的内容。线性表的顺序存储结构我们也叫做顺序表，它指的是用一段地址连续的存储单元依次存储线性表中的数据元素。如下图：通过上图，结合之前的C语言学习，我们基本明白，线性表的本质就是我们对于数组的操作。
数据结构 Java DS——分享部分链表题目 (2)
cjejwe的博客
09-10 921
关于JAVA的链表,笔者已经写了两篇博客来介绍了,今天给笔者们带来第三篇,也是分享了一些笔者写过的,觉得挺好的题目,链接也已经挂上了,笔者们可以去看看。
LeetCode力扣二叉树算法训练
你白勺男孩TT的博客
09-13 227
经典问题，根据前序遍历和中序遍历还原一棵二叉树，虽然这个函数的参数比较多，但是它主要是控制数组的索引而已，注意到build的位置，本质上该算法也就是一个前序遍历，因为它在前序遍历的位置上加了一个代码逻辑。注意递归函数的位置，这就是后序遍历嘛，无非就是把traverse函数名字改成了oneSideMax了。中序遍历对于一棵二叉搜索树意味着什么？
--- 数据结构 二叉树 --- java
hadage233的博客
09-10 777
先递节点的左右节点，节点1左右节点2 3，都是先递归左边，递到2 的左右节点 4 5，4 的左右节点null 返回0，这时4这个节点就算是递归完了，返回1再递到5的左右节点 null 81 ，81 的左右节点 null 8，8的左右节点null 这时8递归完了，返回1，接着81也递归完了返回2（1+1），因为需要加上每次返回的值。接着5也递归完了，返回会3，这时4返回的是1，5返回的是3，5节点返回的值大于4节点，最终2的返回值也即是5节点的值加一4 ，这样树的递归也就写出来了。
【NVMe SSD寄存器、数据结构】NVMe Controller 重要寄存器、SSD内部跟NVMe相关的重要数据结构解析
weixin_45888152的博客
09-10 1014
NVMe Controller会将一些重要的信息（NVMe控制器的能力，状态，Admin SQ, CQ地址等）直接放在NVMe寄存器中，另一部分（跟SSD比较相关的）信息会放置在SSD内部，并最终通过Admin NVMe CMD去设置或者获取。
数据结构—线性表和顺序表
最新发布
weixin_74889808的博客
09-13 266
List只是一个接口，而Arraylist是一个实现List接口的类，在用之前要先导包（导包其实idea会在我们用到List接口的时候自动帮我们导包，我们可以直接用）由于List只是一个接口，所以只能通过实例化去调用，在包里有很多的已经封装好的API可以给我们使用，通过实例化后就可以进行访问。2.初步预估扩容大小为原有的1.5倍，在进行扩容前先预计需要扩容的空间大小，按需求进行扩容避免空间过大而扩容失败。扩容机制中默认将原有的空间大小扩大为原来的1.5倍，如果需要的扩容空间超过1.5倍则按需求扩容。
【数据结构】基本概念和术语
Sakura_ding的博客
09-09 962
是指一个数学模型以及定义在该模型上的一组操作。抽象数据类型的定义仅取决于它的一组逻辑特性，而与其在计算机内部如何表示和实现无关，即不论其内部结构如何变化，只要它的数学特性不变，都不影响其外部的使用。抽象数据类型和数据类型实质上是一个概念。“抽象”的意义在于数据类型的数学抽象特性。抽象数据类型的定义由一个值域和定义在该值域上的一组操作组成。若按其值的不同特性，可细分为下列三种类型：原子类型 (atomic data type)属原子类型的变量的值是不可分解的。
数据结构 栈 队列
qq_69971969的博客
09-06 696
数据的插入--->入栈 数据的删除----->出栈。函数的调用关系（保护现场，恢复现场操作，遵循先进后出，后进先出）缓存数据：主要使用队列，类似于缓冲区，防止数据丢失。允许从一端插入数据，另一端删除数据的线性存储结构。只允许从一端进行数据的插入和删除的线性存储结构。增栈 减栈：用栈顶的增长方向区分（移动方向）顺序队列：假溢出------>循环队列。满栈 空栈：栈顶所在位置是否存有元素。增栈：从内存低地址向高地址移动。减栈：从内存高地址向低地址移动。链式队列：用链表方式构造队列。
《征服数据结构》滚动数组
数据结构和算法
09-12 138
摘要：1，一维滚动数组的介绍2，多维滚动数组的介绍1，一维滚动数组的介绍滚动数组不是一种数据结构，它是一种算法优化思想，滚动数组的作用在于优化空间，降低空间复杂度，每次使用固定的一些存储空间。比如我们常见的斐波那契数列：f[n] = f[n – 1] + f[n – 2] ，普通的写法如下：Java 代码：//1、2、3、5、8、13、21、34、…… privateintfibonacci...
【数据结构和算法实践-树-LeetCode112-路径总和】
Mao_c的博客
09-13 444
leetcode btree
数据结构和算法之基本概念
Liusp的专栏
09-13 702
关注码农爱刷题，看更多技术文章！！在计算机领域中，数据元素都不是孤立存在的，而是在它们之间存在着某种关系，这种数据元素相互之间的关系称为结构（Structure）。数据结构是相互之间存在一种或多种特定关系的数据元素的集合。数据结构包括三方面的内容：逻辑结构、存储结构和数据的运算。数据的逻辑结构和存储结构是密不可分的两个方面，一个算法的设计取决于所选定的逻辑结构，而算法的实现依赖于所采用的存储结构。
使用hive计算topn问题
04-04
要使用Hive计算TopN问题，可以使用以下步骤： 1. 将数据加载到Hive表中。可以使用以下命令创建表并将数据加载到表中： CREATE TABLE my_table ( col1 INT, col2 STRING, col3 DOUBLE ); LOAD DATA LOCAL INPATH '/path/to/data' INTO TABLE my_table; 2. 使用排序和限制语句来计算TopN。例如，要计算前10个最大值，可以使用以下命令： SELECT col1, col2, col3 FROM my_table ORDER BY col3 DESC LIMIT 10; 这将返回最大的10个值，按照col3列的降序排列。 3. 如果需要计算TopN的分组值，则可以使用GROUP BY子句。例如，要计算每个col2值的前5个最大值，可以使用以下命令： SELECT col1, col2, col3 FROM ( SELECT col1, col2, col3, ROW_NUMBER() OVER (PARTITION BY col2 ORDER BY col3 DESC) as rank FROM my_table ) ranked WHERE rank <= 5; 这将返回每个col2值的前5个最大值，按照col3列的降序排列。 使用Hive计算TopN问题非常简单，只需使用排序和限制语句，以及可能的GROUP BY子句。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值