Hive3中order by、sort by、distribute by、cluster by的区别

区别

order by ：全局排序，所有的数据加载到同一个reduce中进行排序。reduce压力过大，处理很慢。
sort by：局部排序，先通过set mapreduce.job.reduces=数字;指定reduce个数，每个reduce中数据有，通常和distribute by搭配使用。
distribute by：指定进入不同reducer的规则。和sort by搭配使用。
cluster by：当distribute by和sort by的字段一致时，就等同于cluster by。

示例

-- 查询员工信息按工资降序排列
select * from emp order by sal desc;
-- 查询工资前十的员工信息
select * from emp order by sal desc limit 10;
-- 部门局部 按照工资倒序
set mapreduce.job.reduces=3;
select * from emp distribute by deptno sort by sal desc;
-- 部门局部 按照部门排序
select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;