hive排序-order by / sort by / distribute by / cluster by

1，Order By-全局排序

全局排序，只能有一个reduce。

1.1、使用 ORDER BY 子句排序

ASC（ascend）: 升序（默认）
DESC（descend）: 降序

1.2、ORDER BY 子句在SELECT语句的结尾

1.3、demo

#查询学生的成绩，并按照分数降序排列
SELECT * FROM student s LEFT JOIN score sco ON s.s_id = sco.s_id ORDER BY sco.s_score DESC;

#按照分数的平均值排序
select s_id ,avg(s_score) avg from score group by s_id order by avg;

#按照学生id和平均成绩进行排序
select s_id ,avg(s_score) avg from score group by s_id order by s_id,avg;

2，Sort By-每个MapReduce内部局部排序

每个MapReduce内部进行排序，对全局结果集来说不是排序。

2.1 设置reduce个数

 set mapreduce.job.reduces=3;

2.2 查看设置reduce个数

set mapreduce.job.reduces;

2.3 查询成绩按照成绩降序排列

select * from score sort by s_score;

2.4 将查询结果导入到文件中（按照成绩降序排列）

 insert overwrite local directory '/data/hive/sort' select * from score sort by score;

3，Distribute By-分区排序

对数据按照指定的字段分区，通常结合sort by使用，DISTRIBUTE BY语句要写在SORT BY语句之前。

先按照学生id进行分区，再按照学生成绩进行排序。

3.1 设置reduce的个数

set mapreduce.job.reduces=7;

3.2 通过distribute by进行数据的分区

insert overwrite local directory '/data/thive/distribute' select * from score distribute by id sort by score;

3.4 Cluster By

cluster by相当于distribute by和sort by字段相同。

cluster by除了具有distribute by的功能外还兼具sort by desc。
以下两种写法等价:

select * from score cluster by id; 
select * from score distribute by id sort by id;