Hive---＞DML中的四个by

排序

全局排序(order by),只有一个Reducer

1. 使用 ORDER BY字句排序：ASC是升序也是默认的，DESC是降序
2. 实操案例:查询员工按照工资降序排列

select * from emp order by sal desc;

3. 按照部门和工资升序排序

select * from emp order by deptno,sal;

每个Reduce内部排序(Sort by)

• Sort by：对于大规模的的数据集order by排序的效率十分低下，在不需要全局排序是，可以使用sort by排序，sort by为每一个reducer产生一个排序文件。每个reducer内部进行排序，对全局结果集来说不是排序
• 设置reduce个数set mapreduce.job.reduce=3;
• 按照员工编号降序查看员工信息

select * from emp sort by deptno desc;

分区(Distribute by)

• distribute by:在有些情况下，我们需要控制某个特定行应该到那个reduce，通常是为了进行后续的聚集操作。distribute by自居可以做这件事情。distribute by类似MR中的partition，进行分区，结合sort by使用
• 实操:先按照部门编号分区，再按照员工编号降序排序

set mapreduce.job.reduce=3;
insert overwrite local directory '/home/data/distribute-result'
select * from distribute by deptno sort by empno desc;

• distribute by 一般和sort by一起使用

Cluster by

• 当distribute by和sort by字段相同时，可以使用cluster by
• 同时cluster by还具有排序的功能，但是只可以是升序排序的
• 演示:

set mapreduce.job.reduce=3;
insert overwrite local directory '/home/data/distribute-result'
select * from distribute by deptno sort by empno deptno;
//上面的可以写成
set mapreduce.job.reduce=3;
insert overwrite local directory '/home/data/distribute-result'
select * from cluster by deptno;