Hive 中四个BY比较
一、Order By
Order By:全局排序。只有一个 Reducer,无论将reducer设置为几,实际都只有一个。
- 效率较低。
- 有ASC(ascend): 升序(默认) DESC(descend): 降序两种排序方式。
- ORDER BY 子句在SELECT 语句的结尾
例: select * from emp order by sal desc;
二、Sort By
Sort By:分区排序,即每个 Reduce 内部排序。对于大规模的数据集 order by 的效率非常低。在很多情况下,并不需要全局排 序,此时可以使用 sort by。
Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序,对全局结果集 来说不是排序。
单独使用sort by时随机划分数据所在区,往往和distribute by联用。
例:
1)设置 reduce 个数
set mapreduce.job.reduces=3;
2)查看设置 reduce 个数
set mapreduce.job.reduces;
3)根据部门编号降序查看员工信息
select * from emp sort by deptno desc;
三、 Distribute By
Distribute By:分区操作。 在有些情况下,