07：Hive从0到1系列学习：查询之排序查询

查询（重点）

查询的基本语法

SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list]
[ORDER BY col_list]
[CLUSTER BY col_list| [DISTRIBUTE BY col_list] [SORT BY col_list]]
[LIMIT number]

排序查询

①全局排序：order by

order by 是在全局进行排序，只有一个reduce

order by排序默认是升序

升序：asc（ascend）；降序desc（descend）

order by 子句位置在select语句的结尾

比如：

1）查询员工，按照工资升序排序

select * from emp order by sal;

2）查询员工，按照工资的降序排序

select * from emp order by sal desc;

3）按照部门和工资降序排序

select ename, deptno, sal from emp order by deptno, sal desc;

②每个reduce内部排序：sort by

在真实的生产环境中，全局排序很少使用，因为数据量很大，而且全局排序只有一个reduce

sort by 是在每个reduce内进行排序，在每个分区内是有序的，而在分区间是无序的

1）设置reduce的个数

set mapreduce.job.reduces=3;

2）查看设置的reduce个数

set mapreduce.job.reduces;

3）根据部门编号降序查看员工信息

select * from emp sort by deptno desc;

4）将上述结果导出到本地文件中

insert overwrite local directory '/opt/module/hive/datas/sortby-result' 
row format delimited 
fields terminated by '\t ' 
select * from emp sort by deptno desc;

分区内部是有序的，而分区之间是无序的

③分区：distribute by

distribute by类似MR中partition（自定义分区），进行分区，结合sort by使用。可以确保某行数据进入某个分区

比如：先按照部门编号分区，再按照员工薪水降序排序

select ename,empno,deptno,sal from emp distribute by deptno sort by sal desc;

将结果输出到本地文件，可以看清是否分到了一个分区

insert overwrite local directory '/opt/module/hive/datas/distribute-result' 
row format delimited 
fields terminated by '\t' 
select ename,empno,deptno,sal from emp distribute by deptno sort by sal desc;

④Cluster by

当distribute by和sort by字段相同时，可以使用cluster by方式。

此方法排序只能够升序，不能够指定asc或desc

比如：按照部门名进行分区并排序

select ename,empno,deptno,sal from emp cluster by deptno;

上面这种写法等同于下面写法

select ename,empno,deptno,sal from emp distribute by deptno sort by deptno;