order by、sort by、distribute by sort by 、cluster by、group by order by、partition by order by 解析

本文链接：https://blog.csdn.net/m0_46657040/article/details/108872248

order by：全局排序

order by 会对数据进行一次全局排序，所以说，只要hive的sql中指定了order by，那么所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。
order by 只在一个reduce中进行，所以数据量特别大的时候效率非常低。建议在小的数据集中使用order by进行排序

若选择strict(严格模式 set hive.mapred.mode=strict)，则order by 需要指定limit（若有分区还有指定哪个分区）
若为nostrict(默认非严格模式set hive.mapred.mode=nostrict)，则limit不是必需的

即使设置了mapreduce.job.reduces的值大于1, 使用order by,时Hive在运行MR程序时也会设置为1覆盖

实例

emp.txt内容

7369	SMITH	CLERK	7902	1980-12-17	800.00		20
7499	ALLEN	SALESMAN	7698	1981-2-20	1600.00	300.00	30
7521	WARD	SALESMAN	7698	1981-2-22	1250.00	500.00	30
7566	JONES	MANAGER	7839	1981-4-2	2975.00		20
7654	MARTIN	SALESMAN	7698	1981-9-28	1250.00	1400.00	30
7698	BLAKE	MANAGER	7839	1981-5-1	2850.00		30
7782	CLARK	MANAGER	7839	1981-6-9	2450.00		10
7788	SCOTT	ANALYST	7566	1987-4-19	3000.00		20
7839	KING	PRESIDENT		1981-11-17	5000.00		10
7844	TURNER	SALESMAN	7698	1981-9-8	1500.00	0.00	30
7876	ADAMS	CLERK	7788	1987-5-23	1100.00		20
7900	JAMES	CLERK	7698	1981-12-3	950.00		30
7902	FORD	ANALYST	7566	1981-12-3	3000.00		20
7934	MILLER	CLERK	7782	1982-1-23	1300.00		10

在这里插入图片描述

查询结果

sort by：局部排序

sort by在每个reducer端都会做排序，为每个reduce产生一个排序文件。也就是说sort by能保证局部有序（每个reducer出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个reducer）。
使用sort by的好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。

sort by 的数据在进入reduce前就完成排序。
sort by 基本上不受hive.mapred.mode影响

可以通过mapreduce.job.reduces 指定reduce个数，查询后的数据被分发到相关的reduce中。
如果使用sort by 排序，并且设置mapreduce.job.reduces>1，sort by只能保证每个reducer输出有序，不能保证全局数据有序。

在有些情况下，你需要，这通常是为了进行后续的聚集操作。刚好可以做这件事。因此，distribute by经常和sort by配合使用。

实例
先设置 reduce 个数,如果不指定呢就是1个reducer，和order by没什么区别

 set mapreduce.job.reduces=3;

 select * from emp sort by emp;

在这里插入图片描述

为了进一步了解sort by 我们把结果传到hdfs上

insert overwrite  directory '/root'
select * from emp sort by sal;

在这里插入图片描述
读取hdfs上的文件，发现结果如下，那么其他两个分区内容就和我们上面看到的结果一致

distribute by sort by：分区排序

distribute by 是控制map的输出在reducer是如何划分的
distribute by 是控制在map端如何拆分数据给reduce端的。
distribute by 可以控制某个特定行应该到哪个reducer。
distribute by 采用hash算法，在map端将查询结果中hash值相同的结果分发到对应的reduce文件中。
hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法。

我们所有的deptno相同的数据会被送到同一个reducer去处理，这就是因为指定了distribute by deptno，这样的话就可以统计出每个部门中各个员工sal的排序了（每个部门一定是有序的，因为相同部门的员工会放到同一个reducer去处理，而sort by 随机分配每个部门到哪一个reducer）。

实例

注意：如果我们使用distrubuted by sort by 一定要让reducer的个数大于1，否则想一下，我们再map阶段根据字段分区后，又把结果都放到一个reducer里面，这和order by 没有什么区别，反而多了分区的动作，性能上比order by 更差

set mapreduce.job.reduces=2;

我这里把reducer的个数设置成2，那么结果会放到两个不同的文件去

select * from emp distribute by job  sort by sal;

在这里插入图片描述
我们可以打印到hdfs上，看看这两个文件内容

insert overwrite  directory '/root'
row format delimited fields terminated by '\t'
select * from emp distribute by job  sort by sal ;

在这里插入图片描述

set mapreduce.job.reduces=5;

我们job一共有五类，我这里把reducer的个数设置成5

insert overwrite  directory '/root'
row format delimited fields terminated by '\t'
select * from emp distribute by job  sort by sal ;

当我们reduces设成5时，job依旧是按照hash分区去进入一个分区，并不是名称不同就不进同一个分区，还是要看hash值
在这里插入图片描述

cluster by：簇排序

cluster by 除了distribute by 的功能外，还会对该字段进行排序，当分区和排序条件相同时，cluster by = distribute by +sort by 。
distribute by 和 sort by 合用就相当于cluster by，但是cluster by 不能指定排序规则为asc或 desc ，只能是升序排列。

比如下面两个hql语句是等价的：
select * from tb_emp
distribute by deptno
sort by deptno;

select * from tb_emp
cluster by deptno;

案例

这两的结果完全相同

select * from emp distribute by job  sort by job ;
select * from emp cluster by job;

group by order by

和distribute by类似都是按key值划分数据，都使用reduce操作
唯一不同的是，distribute by只是单纯的分散数据，distribute by col – 按照col列把数据分散到不同的reduce。
group by把相同key的数据聚集到一起，后续必须是聚合操作。

partition by order by

通常查询时会对整个数据库查询，而这带来了大量的开销，因此引入了partition的概念，在建表的时候通过设置partition的字段, 会对数据进行真正的分区存放，更具体的说是存放在不同的文件夹，这样通过指定设置Partition的字段条件查询时可以减少大量的开销。