【Hive】四个By

一、全局排序（Order By）

Order By：全局排序，只有一个 Reducer

1）使用 Order By 子句排序
ASC（ascend）：升序（默认）
DESC（descend）：降序

2）order by 子句在 select 语句的结尾

3）例子
查询员工信息按工资升序排列

select * from emp order by sal;

查询员工信息按工资降序排列

select * from emp order by sal desc;

按照别名排序

按照员工薪水的2倍排序

select ename, sal*2 twosal from emp order by twosal;

多个列排序

select ename, deptno, sal from emp order by deptno, sal;

二、每个Reduce内部排序（Sort By）

• 对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by
• Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集来说不是排序。

1、设置reduce个数

set mapreduce.job.reduces=3;

2、查看设置reduce个数

set mapreduce.job.reduces;

3、根据部门编号降序查看员工信息

select * from emp sort by deptno desc;

4、将查询结果导入到文件中（按照部门编号降序排序）

insert overwrite local directory '/opt/module/hive/datas/sortby-result'
select * from emp sort by deptno desc;

三、分区（Distribute By）

有些情况下，我们需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition（自定义分区），进行分区，结合sort by使用。

对于distribute by进行测试，一定要分配多 reduce 进行处理，否则无法看到distribute by的效果。

案例：
先按照部门编号分区，再按照员工编号降序排序

set mapreduce.job.reduces=3;
insert overwrite local directory '/opt/module/hive/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

• distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，余数相同的分到一个区
• Hive 要求 distribute by 语句要写在 sort by 语句之前

四、Cluster By

• 当distribute by和sort by字段相同时，可以使用cluster by方式。
• cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。

以下两种写法等价

select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;

注意：按照部门编号分区，不一定就是固定死的数值，可以是20号和30号部门分到一个分区里面去