Hive的order by、sort by、distribute by和cluster by[附实例]

最新推荐文章于 2023-09-23 16:46:50 发布
最新推荐文章于 2023-09-23 16:46:50 发布
阅读量812 收藏 6
点赞数 2
分类专栏： Hive 文章标签： hive 大数据 mapreduce yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43853055/article/details/115434113
版权
本文详细介绍了Hive中的orderby、sortby、distributeby和clusterby操作，包括它们的作用、区别和使用场景。通过实例展示了如何使用这些操作对数据进行排序和分布，以及在不同reduce数量下的效果。内容涵盖了数据的局部排序、全局排序、分组分布等关键概念，有助于理解Hive在大数据处理中的排序策略。
摘要由CSDN通过智能技术生成

Hive的order by、sort by、distribute by和cluster by

文章目录

作用

order by

只产生一个reduce，在reduce中全局排序。

数据量大的时候集中在一个reduce就会运行的很慢。

如果指定了严格模式hive.mapred.mode=strict;(默认是nonstrict)，这时就必须指定limit来限制输出条数。

sort by

sort by是分组排序，在有多个reduce输出的情况下，它保证每个reduce的输出结果有序。

只有一个reduce时，和order by作用一样。

设置reduce数量为3：set mapreduce.job.reduces=3;

数据量大的时候使用sort by将数据分散到多个reduce中排序后，再进行order by全局排序会提高计算速度。

distribute by

distribute by会根据指定列的字段的hash值，在map端将数据分散到不同的reduce中，相同hash值的在一个组中，常与sort by 一起使用。

需要设置reduce数量。因为sort by保证每个reduce输出结果有序，默认一个reduce。

distribute by + sort by的结果是分组内有序而全局无序的。

distribute by和group by区别？

有人可能觉得distribute by和group by很像，distribute by是根据hash值分组，把数据分散给不同的reduce，与sort by一起使用；group by是根据实际的值，要与sum等聚合函数一起使用。

Distribute by和sort by的使用场景

1.Map输出的文件大小不均。
2.Reduce输出文件大小不均。
3.小文件过多。
4.文件超大。

distribute by rand() 可以防止数据倾斜

当 distribute by 后边跟的列是：rand() 随机数时，即保证每个分区的数据量基本一致。rand()生成随机数的函数。

按照随机数分组可以将数据随机分配到不同的reduce中，同时保证每个分区的数据量基本一致。需要设置reduce数量。

cluster by

把有相同值的数据分散到一组，并排序，效果等同于distribute by + sort by 。

即 cluster by col 等同于distribute by col sort by col

但是排序只能是默认升序排序，不能指定排序规则为asc 或者desc。

示例

准备测试数据

创建一张order表，字段分别为name，orderdate，orderprice

create table ordtable
(
name string,
orderdate date,
orderprice double
)  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE ;

插入测试数据到表中

insert overwrite table ordtable 
select 'Jack','2021-01-01',10
union all 
select 'ROSE','2021-02-01',15
union all 
select 'ROSE','2021-03-01',20
union all 
select 'Bob','2021-04-01',25
union all 
select 'Bob','2021-03-11',30
union all 
select 'Bob','2021-03-21',20	
union all 
select 'Adam','2021-04-11',15
union all 
select 'Adam','2021-03-11',25
union all 
select 'Adam','2021-04-21',10
union all 
select 'Adam','2021-04-25',5;

测试数据如下

+----------------+---------------------+----------------------+--+
| ordtable.name  | ordtable.orderdate  | ordtable.orderprice  |
+----------------+---------------------+----------------------+--+
| Jack           | 2021-01-01          | 10.0                 |
| ROSE           | 2021-02-01          | 15.0                 |
| ROSE           | 2021-03-01          | 20.0                 |
| Bob            | 2021-04-01          | 25.0                 |
| Bob            | 2021-03-11          | 30.0                 |
| Bob            | 2021-03-21          | 20.0                 |
| Adam           | 2021-04-11          | 15.0                 |
| Adam           | 2021-03-11          | 25.0                 |
| Adam           | 2021-04-21          | 10.0                 |
| Adam           | 2021-04-25          | 5.0                  |
+----------------+---------------------+----------------------+--+

order by

一个reduce，全局排序

select * from ordtable order by orderprice;

+----------------+---------------------+----------------------+--+
| ordtable.name  | ordtable.orderdate  | ordtable.orderprice  |
+----------------+---------------------+----------------------+--+
| Adam           | 2021-04-25          | 5.0                  |
| Adam           | 2021-04-21          | 10.0                 |
| Jack           | 2021-01-01          | 10.0                 |
| Adam           | 2021-04-11          | 15.0                 |
| ROSE           | 2021-02-01          | 15.0                 |
| Bob            | 2021-03-21          | 20.0                 |
| ROSE           | 2021-03-01          | 20.0                 |
| Adam           | 2021-03-11          | 25.0                 |
| Bob            | 2021-04-01          | 25.0                 |
| Bob            | 2021-03-11          | 30.0                 |
+----------------+---------------------+----------------------+--+

sort by

先设置reduce数为2个，默认1个看不出效果。2个reduce，每个reduce组内排序。

set mapreduce.job.reduces=2;

select * from ordtable sort by orderprice;

+----------------+---------------------+----------------------+--+
| ordtable.name  | ordtable.orderdate  | ordtable.orderprice  |
+----------------+---------------------+----------------------+--+
| Adam           | 2021-04-25          | 5.0                  |
| Jack           | 2021-01-01          | 10.0                 |
| ROSE           | 2021-03-01          | 20.0                 |
| Adam           | 2021-03-11          | 25.0                 |
| Bob            | 2021-04-01          | 25.0                 |
| Bob            | 2021-03-11          | 30.0                 |
| Adam           | 2021-04-21          | 10.0                 |
| Adam           | 2021-04-11          | 15.0                 |
| ROSE           | 2021-02-01          | 15.0                 |
| Bob            | 2021-03-21          | 20.0                 |
+----------------+---------------------+----------------------+--+

distribute by

求按照月份分组，求出了每个月的订单价格升序排序?

按照月份在map端分组，共有4个月份，设置了4个reduce任务，每个reduce组内按照价格升序序排序。默认一个reduce。

set mapreduce.job.reduces=4;

select * from ordtable distribute by month(orderdate) sort by orderprice asc;

0: jdbc:hive2://hadoop91:10000> select * from ordtable distribute by month(orderdate) sort by orderprice asc;
+----------------+---------------------+----------------------+--+
| ordtable.name  | ordtable.orderdate  | ordtable.orderprice  |
+----------------+---------------------+----------------------+--+
| Adam           | 2021-04-25          | 5.0                  |
| Adam           | 2021-04-21          | 10.0                 |
| Adam           | 2021-04-11          | 15.0                 |
| Bob            | 2021-04-01          | 25.0                 |
| Jack           | 2021-01-01          | 10.0                 |
| ROSE           | 2021-02-01          | 15.0                 |
| Bob            | 2021-03-21          | 20.0                 |
| ROSE           | 2021-03-01          | 20.0                 |
| Adam           | 2021-03-11          | 25.0                 |
| Bob            | 2021-03-11          | 30.0                 |
+----------------+---------------------+----------------------+--+

reduce为默认1个时，就相当于全局排序了，就只会按照价格排序，结果如下

set mapreduce.job.reduces=1;

select * from ordtable distribute by month(orderdate) sort by orderprice asc;

0: jdbc:hive2://hadoop91:10000> select * from ordtable distribute by month(orderdate) sort by orderprice asc;
+----------------+---------------------+----------------------+--+
| ordtable.name  | ordtable.orderdate  | ordtable.orderprice  |
+----------------+---------------------+----------------------+--+
| Adam           | 2021-04-25          | 5.0                  |
| Adam           | 2021-04-21          | 10.0                 |
| Jack           | 2021-01-01          | 10.0                 |
| Adam           | 2021-04-11          | 15.0                 |
| ROSE           | 2021-02-01          | 15.0                 |
| Bob            | 2021-03-21          | 20.0                 |
| ROSE           | 2021-03-01          | 20.0                 |
| Adam           | 2021-03-11          | 25.0                 |
| Bob            | 2021-04-01          | 25.0                 |
| Bob            | 2021-03-11          | 30.0                 |
+----------------+---------------------+----------------------+--+

cluster by

select * from ordtable distribute by orderprice sort by orderprice asc;

等同于

select * from ordtable cluster by orderprice ;
idataduck
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive查询优化：Sort By、Order By、Cluster By、Distribute深入解析
06-28
Hive是一种数据仓库软件，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。它由Facebook开发，现在是Apache软件基金会的一个顶级项目。 ### Hive的主要特点包括： 1. **基于Hadoop**：Hive建立在Hadoop文件系统（HDFS）之上，可以处理存储在HDFS中的大数据集。 2. **SQL-like Query Language**：Hive提供了一种称为HiveQL的查询语言，它是SQL的一种方言，允许用户执行数据查询、数据摘要和分析等操作。 3. **数据抽象**：Hive使用表和分区等概念来抽象底层数据存储，使得用户可以像操作传统数据库一样操作Hadoop集群中的数据。 4. **扩展性**：Hive设计用于处理大规模数据集，可以水平扩展以适应更大的数据量。 5. **集成性**：Hive可以与其他Hadoop生态系统组件（如HBase、Spark、Pig等）集成，提供更丰富的数据处理能力。 6. **优化执行**：Hive具有自己的查询优化器，可以将HiveQL查询转换为高效的MapReduce、Tez或Spark作业。
HIVE-分桶表的详解和创建实例.docx
04-29
### HIVE-分桶表的详解与创建实例 #### 一、Hive 分桶表概述 在Hive中，为了提高查询效率，特别是在大数据场景下处理海量数据时，Hive引入了分桶(bucketing)的概念。分桶是在表级别进行的一种优化手段，它通过将表...
Hive中 Order by，Sort by, Distribute by, Cluster by详解
sql_python的博客
07-30 1053
Hive中 Order by，Sort by, Distribute by, Cluster by详解 本文的数据基础： empno ename job mgr hiredate sal comm deptno 工号 姓名 职位 老板工号 雇佣日期 工资 不重要 部门编号 初始计算引擎为tez，而不是默认的MR。 1.Order by order by的用法和mysql中一模一样，是针对全局排序。此处不进行详述。 2.Sort by Hive基于Hadoop集群，Sort by为每
hive中的Sort By, Order By, Distribute By, and Cluster By
qq_29983883的博客
05-19 553
使用的表格 下面是文中使用到的数据 SalesYear Amount 2017 100 2018 200 2019 300 2020 400 2017 500 2018 600 2019 700 2020 800 1 SORT BY SORT by子句对每个reducer的数据进行排序。结果，如果我们有N个减速器，则输出中将有N个排序文件。这些文件的数据范围可以重叠。同样，输出数据也不是全局排序的，因为配置单元会根据SORT BY子句中使用的键列对行进行排序，然后再将它们提供给减速器。SORT BY子句的
Hive中orderBy，sortBy，distribute by，cluster by，group by
weixin_44844089的博客
05-22 1762
首先我们要明白Hive的本质是将HiveSQL转成MapReduce来执行分布式计算的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在Hadoop环境下很难对数据进行全局排序，如果在Hadoop上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败。 因此OrderBy会导致全局排序。解决方案就是放弃全局排序，使用
Hive--查询
Mr_huang的博客
10-30 472
Hive–查询 前言： 官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13...
hive：order by,sort by, distribute by, cluster by作用以及用法
不花的花和尚的博客
10-12 1548
Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败...
Hive拉拉扯扯的order by,sort by,distribute by, cluster by
01-07
Hive支持两个层面的排序： 全局排序 部分排序 全局排序用 order by col [ASC | DESC] 实现，效果和传统的RDMS一样，...鉴于此，Hive有一些自己特定，比如order by的实现需要把所有数据汇集到一个reducer中处理，如果数
Impala和Hive的关系（详解）
01-27
Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。...
hive 中 order by、sort by、distribute by 、cluster by 区别
harvey的博客
11-21 522
1. select 语法 Hive 中的 SELECT 基础语法和标准SQL语法基本一致，支持 WHERE、DISTINCT、GROUP BY、ORDER BY、HAVING、LIMIT、子查询等。语法如下： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with ...
4种排序方式比较：order by, sort by, distribute by, cluster by
CharlesCFA的博客
02-21 7299
文章记录了4种排序方式：order by, sort by, distribute by, cluster by 总结： order by 全局排序，只有一个 Reducer，通过order对字段进行降序或者升序 sort by 对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。Sort by 为每个reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集来说不是排序。 distribute by 在有些情
order by、sort by、distribute by sort by 、cluster by、group by order by、partition by order by 解析
m0_46657040的博客
09-29 975
order by：全局排序 order by 会对数据进行一次全局排序，所以说，只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。 order by 只在一个reduce中进行，所以数据量特别大的时候效率非常低。建议在小的数据集中使用order by进行排序 可以通过设置hive.mapred.mode参数控制执行方式： 若选择strict，则order by 需要指定limit（若有分
hive中order by,sort by,distribute by,cluster by作用和用法
热门推荐
weixin_41122339的博客
08-15 2万+
1.order by 和 sort by 1.order by        hive中的order by 语句和其他的sql方言中定义是一样的，其会对查询结果集执行一个全局排序，这也就是说会有一个所有的数据都通过一个reduce进行处理的过程，对于大数据集，这个过程将消耗很大的时间来执行。 2,sort by       hive增加了一个可供选择的方式，也就是sort by ,其实会...
hive入门之排序查询（order by,sort by,distribute by,cluster by...）<4>
及时雨的csdn
02-04 210
HQL查询和一般的sql语句的查询基本一直，本文主要总结下hive里面的一些基本排序查询。 文章目录1.order by：2.Sort by3.Distribute by4.Cluster by 数据准备： SELECT e.ename, d.dname, l.loc_name FROM emp e JOIN dept d ON d.deptno = e.deptno JOIN...
order by ,sorte by ,distribute by, cluster by之间的异同
weixin_49196517的博客
09-11 713
三种排序的区别
HIVE四种排序order by、sort by、distribute by sort by、cluster by及随机抽取数据的方法
最新发布
YUYUYUWW的博客
09-23 787
order by只会启用一个reduce所以比较耗时,因此order by 是全局的。
Hive排序详细案例
@小刘同学nice
05-26 438
全局排序（Order By） Order By：全局排序，只有一个Reducer 使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 ORDER BY 子句在SELECT语句的结尾 案例实操 查询员工信息按工资升序排列 hive (default)> select * from emp order by sal; 查询员工信...
63- 大数据-hive 查询数据七：order by 和 sort by 语句
yaoyelinger0912的博客
07-15 371
order by 对查询结果集进行全局排序，所有的数据通过一个reducer进行处理，多个reducer无法保证全局有序。导致数据较大规模时，消耗较长计算时间 sort by ，在每一个reducer中对数据进行排序，如果用sort排序，且设置 mapred.reduce.tasks>1，则sort by 只会保证每个reducer的输出有序，不保证全局有序，执行一个局部排序过程，这样可以提...
Hive面试题：cluster by，order by，sort by distribute by的使用场景
谦卑t
12-01 1593
order by：会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。 sort by：不是全局排序，其在数据进入reducer前完成排序，因此，如果用sort by进行排序，并且设置mapred.reduce.tasks&gt;1，则sort by只会保证每个reducer的输出有序，并不...
Hive中order by、sort by、distribute by、cluster by有什么区别？
03-29
在Hive中，order by、sort by、distribute by和cluster by是用于对查询结果进行排序和分组的关键字。它们的区别如下： 1. order by：按照指定的列或表达式对查询结果进行排序。它会对所有数据进行全局排序，因此在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值