hive group by 组内排序,取top(n)

最新推荐文章于 2023-12-01 21:29:49 发布
最新推荐文章于 2023-12-01 21:29:49 发布
阅读量2.4k 收藏
点赞数
分类专栏： hadoop 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daichangxia/article/details/104388410
版权

hive group by 组内排序,取top(n)

select * from (
	select col1,col2,col3,row_num() over (partition by id order by col3 DESC) rank
	) a 
where a.rank <= n

介绍:
使用row_number()函数,其中:

  1. partition by: 根据id分组.
  2. order by: 根据col3排序,降序.
dcx·
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分组Top N问题(三) - sql及Hive实现
zeb_perfect的专栏
11-25 6129
前言： 同上篇Hadoop MapReduce 实现分组Top n介绍一样，这次学习Hive实现分组Top n。 案例： 在数据处理中，经常会碰到这样一个场景，对表数据按照某一字段分组，然后找出各自组内最大的几条记录情形。针对这种分组Top N问题，我们利用Hive、MapReduce等多种工具实现一下。 场景模拟： 对类如下users表记录，取出不同grade下得分最多的两条记录 i
Hive求topN
RayfunC的博客
12-31 1069
select t2.* from( select pid,uid,cnt,row_number() over (partition by pid order by cnt desc ) as rank from ( select pid,uid,count(uid) as cnt from visit2 group by pid,uid order by pid,cnt desc ) as t1 ) as t2 where t2.r.
Hive 分组group by后取top-k
betaberry的博客
05-22 658
首先需要了解一下rank函数，这个函数有啥用呢？就是可以另外生成一列，内容是每一行的编号 先看一下咱的表长啥样 select * from student; 然后用rank函数 # 还能根据age排序 select *, rank() over (order by age) from student; 了解完rank的用法后，新的问题是：在group by后的每个组都单独进行编号（比如成绩按日期dt分组，然后再排序） 在over’中加入parition即可，这里给出语法，场景就不解释了 select
Hive分组排序
阿极的博客
01-06 1300
1.了解Hive中Order by 、Sort by的用法以及区别 2.了解Hive中Distribute by、Group by以及Cluster by的用法于区别
hive内group by取第一条数据，Hive中row_number的使用
赶考书生
10-28 1689
参考: https://www.cnblogs.com/xiaoliu66007/p/9526558.html https://www.jianshu.com/p/9802f3a035e1
Hive 四种排序 （亲手实战 + 理解，烦请您过目）
禧年
05-26 8412
文章目录:1、全局排序 （order by）① 使用order by排序的子句在select 结尾处。降序：desc升序：asc 不需要指定，默认是升序②案例实操：结果：2、区内排序 （sort by ）分区字段 (distribute by)设置reduces 个数:set mapreduce.job.reduces = 3;distribute by 分区字段 store by 排序字段 联合使用②案例实操：不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且
hive内group by取第一条数据，Hive中row_number的使用
weixin_34161064的博客
08-23 5533
1、hive的分组和组内排序---语法 语法： row_number() over (partition by 字段a order by 计算项b desc ) rank rank是排序的别名 partition by：类似hive的建表，分区的意思； order by ：排序，默认是升序，加desc降序； 这里按字段a分区，对计算项b进行降序排序 2...
Hive 用ROW_NUMBER取每组top n
半路出家，立地为猿
04-26 1万+
今天用hive查数据时需要取每个分组的第一条数据，查了一发现hive 已经从0.11.0版本加入row_number函数，可以满足查询的需求。ROW_NUMBER() 是从1开始，按照顺序，生成分组内记录的序列 用法如下： ROW_NUMBER() OVER (partition BY COLUMN_A SORT BY COLUMN_B ASC/DESC) rn rn 是排序的别名执行时每
Hive中分组取前几名及行列转换的方法
Nieson2012的专栏
11-01 2902
row_number()、rank()和dense_rank()这三个是hive内置的分析函数，这三个函数可以用于分组取前几名，下面我们来看看他们的区别和具体的使用案例。 首先创建一个文件test： A,1 B,3 C,2 D,3 E,4 F,5 G,6 然后创建hive表： create table test_rank(a string,b int) row format delimite...
map分组后取前10个_hive中分组取前N个值的实现
weixin_39765697的博客
12-22 1048
背景假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。这个就是典型在分组取Top N的需求。解决思路对于取出每科成绩前100名的学生成绩，针对学生成绩表，根据学科，成绩做order by排序,然后对排序后的成绩，执行自定义函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1, ....)，它的作用是按指定的列进行分组生成行序列。在R...
Hive中找出分组第一的记录
jinjiating的专栏
12-24 933
使用group by进行分组查询只能获取分组列以及聚合函数列，如果想要获取表中非分组列则获取不到，此时可以使用row_number()对分组进行排序，同时也可以获取非分组列。 表结构 学生课程分数表，三列 create table student_score ( student_id int, --学生id subject string, -- 课程 score int -- 分数 ); ...
Elasticsearch实战（十六）---TOP N 实现统计组内排名最高的N条数据及histogram区间统计
流浪的喵的博客
07-11 2530
es搜索 实现统计组内排名最高的TopN条数据及Histogram区间统计， date_histogram日期区间统计的详细用法
Hive：聚合函数、GROUP BY、ORDER BY、LIMIT、执行顺序和JOIN、函数
qq_43601664的博客
03-12 3347
HQL
Hive中Group by 与sort by 的区别
qq_43528451的博客
09-28 793
Hive中Group by 与sort by 的区别 1、ORDER BY 用于全局排序，就是最指定的所有排序键进行全局排序，使用ORDER BY 的查询语句，最后会用一个Reduce Task来完成全局排序。 2、sort by用于分区内排序，即每个Reduce 任务内排序。则sort by 只保证每个reduce的输出有序，不能保证全局有序。 3、distribute by (字段)根据指定的字段将数据分到不同的reducer，且分发算法是hash散列。 4、cluster by(字段)处理具有Dist
Hive笔记——Join、group by、排序、窗口函数
最新发布
m0_57479841的博客
12-01 541
非全局排序，如果reducer数量设置为2，即有两个reduce task，数据再进入reduce之前会进行排序，即每个reduce会输出一个文件，文件中会进行排序，但只是局部有序；③task通常表示一个过程(进程)，job通常表示用户提交的一个任务(目标)，期望明确的结果，job可以包含多个task，可以认为task是一个JobHandler。③maptask运行的时候：会把小表中的数据读取到内存中，然后maptask会读取block块中大表的数据，读完后和小表中的内存中的数据join，最后对外输出。
hive编译、调度执行原理和Join、group by、distribute by及排序原理
aijiudu的博客
05-04 1616
本文首先介绍hive系统架构、编译过程和查询执行流程，接下来介绍hive编译形成的MRjob调度过程和MR原理，最后介绍了常见算子Join、group by、distribute by及排序的原理。 一、hive编译和执行 1.1 hive系统架构 1.2hive编译过程 1.3hive查询执行流程 二、job调度 Application在Yarn中的执行过程，如需了解详细执行过程请点击：Yarn的执行过程细分 三、job执行引擎（MapReduce原理） MapRedu..
Hive高级查询(group by、 order by、 join等)
吃果冻不吐果冻皮
07-19 2万+
查询操作group by、 order by、 join 、 distribute by、 sort by、 clusrer by、 union all底层的实现 mapreduce常见的聚合操作count计数count(*) 所有值不全为NULL时，加1操作 count(1) 不管有没有值，只要有这条记录，值就加1 count(col) col列里面的值为null，值不会加1，这个
Hive 的 HQL 语句：distribute by与group by，order by与sort by 的区别
Yannick Jiang 的专栏
09-10 7447
转载：https://www.cnblogs.com/huxinga/p/7688376.html distribute by与group by 的区别 都是按key值划分数据 都使用reduce操作 **唯一不同的是，distribute by只是单纯的分散数据，distribute by col – 按照col列把数据分散到不同的reduce。而group by把相同key的数据聚集到一起...
Hive group by操作
热门推荐
lavimer
01-28 2万+
Hive中常见的高级查询有：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们就来谈谈group by操作，group by操作表示按照某些字段的值进行分组，有相同的值放到一起，语法样例如下： select col1,col2,count(1),sel_expr(聚合操作) from tableName w
使用hive计算topn问题
04-04
要使用Hive计算TopN问题，可以使用以下步骤： 1. 将数据加载到Hive表中。可以使用以下命令创建表并将数据加载到表中： ...使用Hive计算TopN问题非常简单，只需使用排序和限制语句，以及可能的GROUP BY子句。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值