hive四个排序

最新推荐文章于 2024-04-23 13:16:36 发布
最新推荐文章于 2024-04-23 13:16:36 发布
阅读量835 收藏 1
点赞数 2
分类专栏： hive 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47699191/article/details/119420038
版权

数据准备

-- 测试表
select * from test;
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 1            | 6            | 14           |
| 2            | 3            | 4            |
| 9            | 8            | 2            |
| 5            | 2            | 7            |
| 6            | 2            | 6            |
| 1            | 3            | 2            |
| 7            | 13           | 7            |
| 5            | 9            | 1            |
| 2            | 3            | 4            |
| 4            | 3            | 8            |
| 1            | 6            | 4            |
| 7            | 1            | 9            |
+--------------+--------------+--------------+--+

– reducetask的数量为2

set mapred.reduce.tasks=2;

1.order by

全局排序只有一个reduce

select * from test order by field1;
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 1            | 6            | 4            |
| 1            | 3            | 2            |
| 1            | 6            | 14           |
| 2            | 3            | 4            |
| 2            | 3            | 4            |
| 4            | 3            | 8            |
| 5            | 9            | 1            |
| 5            | 2            | 7            |
| 6            | 2            | 6            |
| 7            | 1            | 9            |
| 7            | 13           | 7            |
| 9            | 8            | 2            |
+--------------+--------------+--------------+--+
job: 1
Map: 1  Reduce: 1

多字段排序

select * from test order by field1,field2;
按字段1排序,字段1一样的按照字段2排序.
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 1            | 3            | 2            |
| 1            | 6            | 4            |
| 1            | 6            | 14           |
-----------------------------------------------
| 2            | 3            | 4            |
| 2            | 3            | 4            |
------------------------------------------------
| 4            | 3            | 8            |
-------------------------------------------------
| 5            | 2            | 7            |
| 5            | 9            | 1            |
------------------------------------------------
| 6            | 2            | 6            |
-----------------------------------------------
| 7            | 1            | 9            |
| 7            | 13           | 7            |
-------------------------------------------------
| 9            | 8            | 2            |
+--------------+--------------+--------------+--+
job: 1
Map: 1  Reduce: 1

2.sort by

每个reduce内部进行排序,局部有序全局不是有序

select * from test sort by field1;
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 1            | 6            | 4            |
| 1            | 6            | 14           |
| 4            | 3            | 8            |  reduce task 0
| 5            | 9            | 1            |
| 5            | 2            | 7            |
| 6            | 2            | 6            |
| 7            | 1            | 9            |
| 9            | 8            | 2            |
-------------------------------------------------
| 1            | 3            | 2            |
| 2            | 3            | 4            |  reduce task 1
| 2            | 3            | 4            |
| 7            | 13           | 7            |
+--------------+--------------+--------------+--+
job: 1
Map: 1  Reduce: 2

多字段排序

select * from test sort by field1,field2;
同一个reduce中,按字段1排序,字段1一样的按照字段2排序.
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 1            | 6            | 4            |
| 1            | 6            | 14           |
| 4            | 3            | 8            |
| 5            | 2            | 7            |
| 5            | 9            | 1            |
| 6            | 2            | 6            |
| 7            | 1            | 9            |
| 9            | 8            | 2            |
-----------------------------------------------
| 1            | 3            | 2            |
| 2            | 3            | 4            |
| 2            | 3            | 4            |
| 7            | 13           | 7            |
+--------------+--------------+--------------+--+

3.distribute by

控制在map端如何拆分数据给reduce端的
hive会根据distribute by后面列，根据reduce的个数进行数据分发，默认是采用hash算法。

select * from test distribute by field1 sort by field1;

将字段field1的hashcode值模于redice的numberr得到的结果相同的就分配到了
同一个reduce中,然后sort by在每个reduce中进行排序
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 2            | 3            | 4            | 2.hashCode() % 2 = 0
| 2            | 3            | 4            | 2.hashCode() % 2 = 0
| 4            | 3            | 8            | 4.hashCode() % 2 = 0         reduce task 0
| 6            | 2            | 6            | 6.hashCode() % 2 = 0
----------------------------------------------------
| 1            | 6            | 4            | 1.hashCode() % 2 = 1
| 1            | 3            | 2            | 1.hashCode() % 2 = 1
| 1            | 6            | 14           | 1.hashCode() % 2 = 1
| 5            | 9            | 1            | 5.hashCode() % 2 = 1         reduce task 1
| 5            | 2            | 7            | 5.hashCode() % 2 = 1
| 7            | 1            | 9            | 7.hashCode() % 2 = 1
| 7            | 13           | 7            | 7.hashCode() % 2 = 1
| 9            | 8            | 2            | 9.hashCode() % 2 = 1
+--------------+--------------+--------------+--+
分组字段 field1
排序字段 field1
job: 1
Map: 1  Reduce: 2

select * from test distribute by field1 sort by field2;
distribute by后面字段数据的hashCode值%reduce的个数,值相同的发送到同一个reduce
sort by后面字段,是每个reduce中按照这个字段排序
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 6            | 2            | 6            |
| 4            | 3            | 8            |
| 2            | 3            | 4            |
| 2            | 3            | 4            |
-------------------------------------------------
| 7            | 1            | 9            |
| 5            | 2            | 7            |
| 1            | 3            | 2            |
| 1            | 6            | 4            |
| 1            | 6            | 14           |
| 9            | 8            | 2            |
| 5            | 9            | 1            |
| 7            | 13           | 7            |
+--------------+--------------+--------------+--+
分组字段 field1
排序字段 field2
job:1
Map: 1  Reduce: 2

select * from test distribute by field1,field2 sort by field2;

多字段排序

select * from test distribute by field1 sort by field1,field2;
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 2            | 3            | 4            |
| 2            | 3            | 4            |
| 4            | 3            | 8            |
| 6            | 2            | 6            |
------------------------------------------------
| 1            | 3            | 2            |
| 1            | 6            | 4            |
| 1            | 6            | 14           |
                ---------------
| 5            | 2            | 7            |
| 5            | 9            | 1            |
                --------------
| 7            | 1            | 9            |
| 7            | 13           | 7            |
                ---------------
| 9            | 8            | 2            |
+--------------+--------------+--------------+--+
分组字段 field1
排序字段 field1,field2

job: 1
Map: 1  Reduce: 2

4.cluster by

相当于distribute by+sort by 同一个字段，只能默认升序，不能使用倒序；

select * from test distribute by field1 sort by field1;
select * from test cluster by field1;
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 2            | 3            | 4            |
| 2            | 3            | 4            |
| 4            | 3            | 8            |
| 6            | 2            | 6            |
---------------------------------------------------
| 1            | 6            | 4            |
| 1            | 3            | 2            |
| 1            | 6            | 14           |
| 5            | 9            | 1            |
| 5            | 2            | 7            |
| 7            | 1            | 9            |
| 7            | 13           | 7            |
| 9            | 8            | 2            |
+--------------+--------------+--------------+--+
分组字段 field1
排序字段 field1
job:1
Map: 1  Reduce: 2

多字段控制map数据输出到reduce,多字段排序

select * from test cluster by field1,field2;
+--------------+--------------+--------------+--+
| test.field1  | test.field2  | test.field3  |
+--------------+--------------+--------------+--+
| 1            | 3            | 2            |
| 5            | 9            | 1            |
| 6            | 2            | 6            |
                --------------
| 7            | 1            | 9            |
| 7            | 13           | 7            |
-------------------------------------------------
| 1            | 6            | 4            |
| 1            | 6            | 14           |
| 2            | 3            | 4            |
| 2            | 3            | 4            |
| 4            | 3            | 8            |
| 5            | 2            | 7            |
| 9            | 8            | 2            |
+--------------+--------------+--------------+--+
小涛手记
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive的四个排序方法
little_sloth的博客
07-19 2632
一、 order by order by 是要对输出的结果进行全局排序，这就意味着只有一个reduce task时才能实现（多个reducer无法保证全局有序）但是当数据量过大的时候，效率就很低，速度会很慢。 二、sort by sort by 不是全局排序，只保证了每个reduce task中数据按照指定字段和排序方式有序排列，是局部排序。reduce task 的数量可以通过 set mapred.reduce.tasks=[num] 来设置。 三、distribute by distribute by
hive级联求和
04-10
以下是一个简单的例子，假设我们有一个名为sales的表，包含date（日期）、region（区域）、city（城市）和amount（销售额）四个字段： ```sql SELECT date, region, city, amount, SUM(amount) OVER ...
Hive的四种排序
Hello_babypan的博客
08-29 383
排序 一、Order by 全局排序，一个Reduce来处理 正常排序：ASC 升序（默认） DESC 降序 二、Sort By 每个Reducer内部进行排序 设置reduce个数：set mapreduce.job.reduce=3; 查看设置reduce个数： set mapreduce.job.reduce; 例：根据部门编号降序查看员工信息 select * from emp sort by empno desc 三、分区排序 distribute by 例：先按照部门编号分区，
hive的四种排序比较
u010569893的博客
12-15 551
hive 的四种排序对比 1) order by 全局排序 order by 会对输入做全局排序 因此只有一个reducer（多个reducer无法保证全局有序） 只有一个reducer，会导致当输入规模较大时，需要较长的计算时间 在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行 limit n ，那只有 n * map number 条记录而已。只有一个reduce也可以处理过来 hive.mapred
Hive 四种排序的区别
weixin_44272011的博客
10-04 1697
这里写目录标题1、order by2、sort by3、 distribute by4、 cluster by5、总结 1、order by order by 顾名思义就是全局排序，在hive中无论设置几个job，最后的输出结果一定是一个job。 字段说明： empno : 员工ID ename: 员工名字 ejob: 职位 mgr: 领导ID hiredate: 聘用日期 sal: 工资 comm: 奖金 deptno:部门ID 统一设置好分区数量3 需求：按照员工的工资(sal)升序排序 然后我们保
Hive的四个排序 by 总结
iiiitttttt的博客
03-29 2228
Hive的四个排序 by 总结 Order by (全局排序) 全局排序 全局只有一个Reducer Sort by (分区内排序) 分区内排序 Distrbute By(分区间排序) 分区间排序 类似MR中Partition，进行分区，结合sort by使用。 Cluseter 当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能
Hive 四种排序函数与开窗函数
禧年
03-23 2239
目录：Hive的四种排序：Hive的开窗函数：窗口函数与分析函数 应用场景：寄语：温故而知新，可以为师矣。keep up the good work。 Hive的四种排序： 1.全局排序 order by(只有一个reduce，对所有数据进行排序) 只要使用 order by ，reduce只有一个。 2.sort by 内部有序 3.distribute by 分区字段 sto...
hive数据排序
最新发布
m0_75280426的博客
04-23 413
当分区字段和排序字段相同Cluster By可以简化Distribute By+Sort By 的SQL写法，也就是说当Distribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By。Cluster By 当Sistribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By,但是Cluster By默认是升序，不能指定排序方向。升序：asc ，不需要指定，默认是升序。
Hive笔记 排序
baidu_41586315的博客
11-30 685
Hive 排序
hive窗口函数
01-09
在大数据处理领域，Apache Hive 是一个广泛使用的数据仓库工具，它提供了一种SQL-like的语言——HiveQL，使得用户能够更方便地进行数据汇总、特殊查询和分析。其中，窗口函数是HiveQL的一个重要组成部分，它可以在不...
Apache Hive面试题
02-19
#### 三、Hive四种排序方式的区别 1. **ORDER BY**： - **特点**：全局排序，确保所有输出数据按指定字段排序。 - **限制**：只能使用一个Reducer，效率较低，尤其是在大数据量情况下。 2. **SORT BY**： - **...
大数据hive笔记.zip
10-05
Hive由四个主要组件构成：Hive Driver、Hive Metastore、Hive Compiler和Hadoop。Hive Driver负责接收并解析用户的SQL查询，Hive Metastore存储元数据，Hive Compiler将SQL查询转换为MapReduce任务，最后由Hadoop...
Hive SQL 常见函数
02-26
### Hive SQL 常见函数详解 #### 一、Case When 条件转换函数 ...以上介绍了 Hive SQL 中常见的几个函数及其应用，这些函数在处理大数据时非常有用，能够帮助我们更高效地进行数据清洗、转换和分析。
hive array[bigint]转string
weixin_47699191的博客
09-19 5796
hive array[bigint]转string
hive中拉链表
weixin_47699191的博客
05-15 3092
既反映了数据历史状态,又比较节省空间 适用于 数据量比较大，而且会不断增长（典型：订单表） 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态， 比如，查看某一个用户在过去某一段时间内，更新过几次等等; 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右; 如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;.
hive小文件合并CombineHiveInputFormat
weixin_47699191的博客
08-05 2639
1.数据准备 测试表 create table test( field1 int, field2 int, field3 int ) comment'小文件合并及排序测试表' ; 数据 insert into table test values(1,6,14); insert into table test values(2,3,4); insert into table test values(6,2,6); insert into table test values(1,3,2
sparksql特殊符号转义
weixin_47699191的博客
01-30 2556
1. 符号 . sql split(app_version, '\\.')[1] sparksql split(app_version, '\\\\.')[1]
hive四种排序方式的区别
03-31
Hive支持四种排序方式：SORT BY、ORDER BY、DISTRIBUTE BY和CLUSTER BY。它们之间的区别如下： 1. SORT BY：只对数据进行排序，不进行分区。它仅仅是将所有数据按照指定列进行排序，不保证数据的分区和分布，并且不保证在每个reducer上的数据是有序的。 2. ORDER BY：对数据进行排序，同时按照指定列进行分区。它可以保证数据在每个reducer上是有序的，但是由于数据的分布可能不均匀，所以无法保证每个reducer上的数据量是相等的。 3. DISTRIBUTE BY：仅仅是对数据进行分区，并不进行排序。它按照指定的列进行分区，但是不保证数据是有序的。 4. CLUSTER BY：对数据进行排序并按照指定列进行分区。它可以保证数据在每个reducer上是有序的，并且每个reducer上的数据量是相等的。它是最常用的排序方式，在Hive中也是默认的排序方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值