数仓工具—Hive语法之常见排序方式(7)

不二人生

已于 2022-08-15 15:55:18 修改

阅读量6.1w

点赞数 2

分类专栏： Hive 实战文章标签：大数据 hive 面试

于 2021-01-02 09:18:15 首次发布

本文链接：https://blog.csdn.net/king14bhhb/article/details/112093373

版权

Hive 实战专栏收录该内容

119 篇文章 72 订阅 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Hive中的四种排序操作：order by（全局排序）、sort by（分区内排序）、distribute by（数据分发）和cluster by。order by确保全局有序但可能导致性能问题，sort by仅保证每个分区内的排序，distribute by控制数据分发，常与sort by配合使用，而cluster by结合了distribute by和sort by的功能。文章通过实例展示了各种排序的使用和效果，并探讨了执行效率和limit子句的应用。

摘要由CSDN通过智能技术生成

文章目录

- hive 中的四种排序

hive 中的四种排序

排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。

Hive排序

数据准备

下面我们有一份温度数据,tab 分割

建表加载数据

create table ods_temperature(
    `year

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不二人生

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

数仓工具—Hive命令行(7)

12-23

4万+

hive 命令行是hive 提供的一个交互式终端，其实就是一个shell 脚本，主要用来做交互式查询也是我们最常用的工具，所以学习好它有助提高我们的高作效率

数仓常用排序详解

击水三千里的专栏

12-01

928

数仓常用排序详解

3 条评论您还未登录，请先登录后发表或查看评论

Hive中的排序语法

duncan

03-17

254

Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。 ...

Hive 数仓工具(4) 动态分区分桶表排序(分区,分桶) case when if show functions with 语法集合数据类型窗口函数案例

湖中屋的博客

06-21

357

动态分区按照某个字段的值的内容将数据分文件夹管理方便按照这个维度查询 1数据 2建表 3导入数据 4创建分区表 5开始动态设置 6向动态分区表中导入数据 0数据 cd /hive/data vi user.txt u001 zss 23 M beijiing u002 yhh 23 M nanjing u003 lss 43 M beijiing u004 zy 23 M beijiing u005 zm 23 M beijiing u006 cl 23 M dongjing u007 lx 23 M

数仓工具—Hive语法之cube和rollup(6)

01-01

6万+

- grouping sets可以自由组合实现，也就是按照我们的定义进行任意维度的汇总 - cube 可以看做是grouping sets的特殊情况，那就是维度是group by字段的全部组合 - rollup 可以看做是cube子集合，去掉维度中左边字段是null,但是右边字段不是null 的情况

hive数仓、hive SQL 、 hive自定义函数、hive参数深入浅出

03-24

本教程将深入探讨Hive数仓的架构与设计，Hive SQL的基本语法及高级特性，以及如何自定义函数以满足特定需求，并详细解析Hive的重要参数配置。 1. Hive数仓： - 数据仓库概念：数据仓库是为决策支持系统设计的，...

数仓工具—Hive语法之窗口函数ntile(11)

01-06

6万+

1. ntile 如果输入数据不能被均匀切片，那么多余的数据(count(1)%n) 将会被均匀的分布在前几片上，例如我有109条要分10片，那么我余下的数据就是(109%10)=9 条，那这9条数据就会被均匀的分布在前面9片上 2. ntile 如果不指定数据分片的排序顺序，则是按照你输入数据的逆序进行排序然后分片 3. 我们介绍ntile 典型的两种应用场景，虽然是两种场景，但是都是基于数据分片的思想实现的

数仓工具—Hive语法之抽样的各种玩法(16)

热门推荐

01-12

6万+

1. TABLESAMPLE 抽样函数本身是不走MR 的所以执行速度很快(注意抽取多少M的时候，只能是整数M) 2. 随机抽样函数需要走MR的，所以执行性能上没有TABLESAMPLE那么快，而且表达能力有限，只能获取特定的条数(limit n) 3. 借助row_number实现分层抽样

数仓工具—Hive语法之窗口函数初识(9)

01-04

6万+

窗口函数除了我们常见的统计函数+over 的这种我们姑且称之为通用的窗口函数，和hive 还结合应用场景为我们提供了用于特定场景下的窗口函数，例如 row_number 我们称之为特殊窗口函数窗口函数应用场景：用于分区排序动态Group By、 Top N、累计计算、层次查询，hive中一般取top n时，row_number(),rank,dense_rank()这三个函数就派上用场了，后面我们会单独介绍全部的窗口函数

数仓工具—Hive语法之grouping sets(5)

01-01

6万+

GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。 GROUPING SETS会把在单个GROUP BY逻辑中没有参与GROUP BY的那一列置为NULL值，这样聚合出来的结果，未被GROUP BY的列将显示为NULL。

Hive常用命令大全（客观请收藏）

weixin_40461486的博客

08-08

2485

Hive指令

大数据之hive_hive的排序方式

WuBoooo的博客

09-03

946

全局排序 Order By Order By：全局排序，一个Reducer 1．使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 2．ORDER BY 子句在SELECT语句的结尾 3．案例实操（1）查询员工信息按工资升序排列 hive (default)> select * from emp order by sal; （2）查询员工信息按工资降序排列 hive (default)> select * from emp orde

hive sql 给查询结果添加序号

今天菜里有肉

04-24

1万+

hive sql 给查询结果添加整体序号、查询结果分组添加组内序号 1、需要的函数及关键字： ROW_NUMBER ( ) 函数 OVER ( ) 函数 PARTITION BY ORDER BY 1.1 ROW_NUMBER ( ) 函数将针对SELECT语句返回的每一行，从1开始编号，赋予其连续的编号。 1.2 partition by 用于给结果集分组 2、给查询结果整体添加序号 2.1 查...

Hive 中的排序和开窗函数

mm_ren的博客

09-07

1231

Hive 中的四种排序排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。数据准备下...

hive查询语法（select，表连接，排序）

bitmao888的博客

04-20

1563

文章目录1 SELECT语法结构全表查询选择特定列查询列别名常用函数LIMIT语句WHERE语句比较运算符（BETWEEN/IN/ IS NULL）LIKE和RLIKE逻辑运算符（AND/OR/NOT）分组HAVING语句2 表连接内连接（INNER JOIN）左外连接（LEFT OUTER JOIN）右外连接（RIGHT OUTER JOIN）满外连接（FULL OUTER JOIN）多表连接3...

关于hive中的sql语句中的排序关键词的使用

qq_38655865的博客

08-07

491

排序： order by：全局排序，只能有一个reduce sort by：在多个reduce的情况下，指定每个reduce内部按照什么进行排序 distribute by：指定当前SQL语句在转化成MapReduce时，按照什么来分区 cluster by:distribute by + sort by 如果同一个字段，可以直接使用 cluster by ...

sql查询当前月份_基于Dataphin进行主题式查询的小窍门

weixin_39933508的博客

12-03

404

导读：之前给大家介绍了 Dataphin 的主题式数据查询的相关内容，今天就通过一个案例给大家带来一些基于Dataphin 提供的逻辑 SQL 进行主题式查询使用上的小窍门，希望能帮助大家更好的使用 Dataphin 进行主题式查询。背景：某企业周年庆推出了一些营销活动，老板想查看一下各个门店的在这次活动中的营销效果如何，刚刚学会使用Dataphin的小D接到了这个任务，信心满满。整个过程分为数据...

hive数仓的常见分层