HIVE SQL 按照某字段先分区，分区内部排序，再取内部的第一条数据

最新推荐文章于 2024-04-24 13:27:31 发布

leewe7

最新推荐文章于 2024-04-24 13:27:31 发布

阅读量1.3k

点赞数 1

分类专栏： SQL 文章标签： hive sql

本文链接：https://blog.csdn.net/leewe7/article/details/123119691

版权

SQL 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本文介绍如何使用SQL的ROW_NUMBER()函数对'name'字段进行分组，并按level1和level2排序，从而实现获取每个名字的第一级数据。通过withtmpas语句和where num=1筛选关键信息。

摘要由CSDN通过智能技术生成

with tmp as (
select *,ROW_NUMBER() OVER (PARTITION BY name ORDER BY level1,level2) as num from table 
)
select * from tmp where num=1

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

leewe7

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大数据入门核心技术-Hive】（十一）HiveSQL数据分区

12-18

421

分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示。您可能确实定义了列。--指定动态分区模式，默认为strict，即必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。我需要做一个快照表，每天凌晨把所有订单的状态做一个快照，但是数据量比较大，除了按天分区外，我还想根据状态进行分区，此时我们可以将两种分区混合使用。多分区虽然会产生比较多的文件，如果数据量不大的情况下，谨慎使用。

【Python系列】python中分割字符串（含多种分割符）的方法

热门推荐

CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。

06-09

4万+

Date: 2018.6.9 文章目录1、参考2、分割字符串的三种方法2.1 str.split()2.2 re.split()2.3 str.partition() 1、参考 https://www.cnblogs.com/2bjiujiu/p/7254085.html https://www.cnblogs.com/baishoujing/p/7226210.html 2、分割字符串的三种方法 2.1 str.split() 利用字符串函数split分割，分割后返回的是分割部分的字符列表，但是

参与评论您还未登录，请先登录后发表或查看评论

hive窗口函数分组排序并取第一个值_Hive的开窗函数

weixin_39793189的博客

12-19

2425

开窗函数和聚合函数的区别：sql标准允许将所有聚合函数用作开窗函数，用over关键字区分开窗函数和聚合函数聚合函数每组只返回一个值，开窗函数每组可以返回多个值举例：rum_number()-----作为开窗函数 over (parition by ()----作为聚合函数)开窗函数的种类：row_number() over()：对相等的值不进行区分，相等的值对应的排名相同，序号从1到n连续rank...

Hive分组取第一条记录

weixin_30612769的博客

11-30

4698

需求交易系统，财务要求维护每个用户首个交易完成的订单数据（首单表，可取每个用户交易完成时间最老的订单数据）。举例：简写版的表结构：表数据：则财务希望汇总记录如下： uid order_id service_completion_time 2 44 2017-02-03 12:23:01.0 3 33 2017-11-30 12:23:01.0 hiv...

MySQL 函数

Icarus2019的博客

10-11

253

MySQL 函数一、SQL函数函数作用 version() 查询当前数据库版本 user() 查询当前用户 database() 查询当前所在数据库 uuid() 返回uuid的值二、聚合函数函数作用 sum() 求和 avg() 求平均值 min() 求最小值 max() 求最大值 count() 计数三、数学函数函数作用 abs() 求绝对值 sqrt() 开方 pow() 求幂次方 mod

hive内group by取第一条数据，Hive中row_number的使用

赶考书生

10-28

1737

参考: https://www.cnblogs.com/xiaoliu66007/p/9526558.html https://www.jianshu.com/p/9802f3a035e1

hive 判断子字符串_Hive 学习笔记（一）topN,lead()……

weixin_39899630的博客

11-19

464

写在前面：最近在苦兮兮得用Hive搬砖，想起来还有这么一个“年更”的号。嘿，那就再搬一篇吧。本农民工习惯使用的是pandas，平常会使用到mysql最基本的用法，最多的时候就是“select * from table1”，万事大吉。无奈供应商只提供了Hive的查询平台，还有数据导出的条数限制。emmmmm，，，，好的吧，我学还不行吗。Hive版本：未知（没有“hive -version”这种用法）...

【SQL】【mysql/hive】根据某字段排序后取第一行数据

qq_34335450的博客

07-09

3031

select * from ( SELECT name, sex, row_number() over (partition by name ORDER by age DESC) AS num FROM tableA ) a WHERE a.num=1 ```

hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）...

weixin_39710660的博客

12-19

1667

hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。Hive的数据分为两部分，一部分是存在HDFS上的具体数据，一部分是描述这些具体数据的元数据信息，一般Hive的元数据存在MySQL上。Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个...

hive查看一张表的分区字段_Hive表分区与索引

weixin_39556590的博客

12-19

2022

hive表分区表分区是指将数据按照物理分层的方式进行区分开，加快查询的速度，同时也起到数据快照的作用！创建分区表的关键字：partitioned by ，可以指定单个字段也可以指定多个字段；partitioned by (dt String,country string);create table pt_test(ts bigint,line string)partitioned by (dt S...

hive sql 按照字段拆分之后(列转行)进行映射，再进行列转行

lingan_Hong的博客

08-02

1338

hive sql 按照字段拆分之后(列转行)进行映射，再进行列转行

hive 分组取TopN

07-10

hive不直接支持分组取TopN的操作，需要自定义udf函数打成jar包添加到hive运行环境中

sql分组后取第一条数据

m0_70669458的博客

11-30

1012

有时业务可能需要我们按照一定的类型分组后取最新一条的数据，由于sql的执行顺序是先进行group by再执行select条件，所以我们可以先进行分组，拿到最新数据。（SELECT max( time ) AS maxTime,type FROM 表A GROUP BY type）表B。select max(time) as maxTime,type from 表A group by type。但是可能我们需要完整的一条信息，可以再连接一下。

hive窗口函数分组排序并取第一个值_Hive常用窗口函数汇总

weixin_39816362的博客

12-19

1859

目录：1,LAG2.LEAD3,FIRST_VALUE4.LAST_VALUE5.RANK(),DENSERANK(),ROW_NUMBER()【最常用的】6.ntile()一、LAGLAG(col,n,DEFAULT) 用于统计窗口内往上第n行值第一个参数为列名，第二个参数为往上第n行(可选，默认为1)，第三个参数为默认值(当往上第n行为NULL时候，取默认值，如不指定，则为NULL)二、LEA...

hive的排序以及窗口函数

weixin_49165958的博客

09-19

1056

一、数据排序 1.order by:全局排序 select * from student order by score desc; 2.sort by :内部排序每个mapreduce内部进行排序，对全局结果集来说不是排序。 1.设置reduce个数： set mapreduce.job =3; 2.查看设置reduce个数：set mapreduce.job 3.将查询结果导入到文件中（排序）：insert overwrite local directory ' /路径' select * from

Hive中找出分组第一的记录

jinjiating的专栏

12-24

1098

使用group by进行分组查询只能获取分组列以及聚合函数列，如果想要获取表中非分组列则获取不到，此时可以使用row_number()对分组进行排序，同时也可以获取非分组列。表结构学生课程分数表，三列 create table student_score ( student_id int, --学生id subject string, -- 课程 score int -- 分数 ); ...

hive临时表中取分组排序后所有排列第一的元素集合

石贤芝

06-24

3875

以下sql的作用为：从订单表中，获取每个人201606月份最偏好的出行时刻。select b.* from ( select *, row_number() over (partition by passenger_phone order by hour_num desc) as od from ( select passenger_phone ,

分组排序取第一条数据 SQL写法

程序猿的日常笔记

04-24

4319

在数据库查询过程中经常遇到需要分组排序查询第一条数据的情况。例如，在消息列表中需要展示每个联系人最近的一条信息。

hive分区、分桶、sql语句

zhm的博客

01-16

6892

hive分区、分桶、sql语句 1. sql语句 1.1 创建表 CREATE TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT

hive sql 分区表删除字段