Hive排序

order by全局排序
全局排序,只用一个reducer,asc(ascend)升序(默认)
desc(descend)降序

select * from emp order by sal;
select * from emp order by sal desc;
select ename,sal*2 twosal from emp order by twosal;
select ename, deptno,sal from emp order by deptno,sal;

---

sort by
sort by对于大规模的数据集order by的效率非常低,在很多情况下,并不需要全局排序,此时可以使用sort by,sort by为每个reducer产生一个排序文件,每个reducer内部进行排序,对全局结果集来说不是排序.
设置reduce个数

set mapreduce.job.reduces=3;

查看设置reduce个数

set mapreduce.job.reduces;

分桶表数据存储
分区提供一个隔离数据和优化查询的便利方式,不过,并非所有的数据集都可形成合理的分区.对于一张表或者分区,hive可以进一步组织成桶,也就是更为细力度的数据范围划分.
分桶是将数据集分解成更容易管理的若干部分的另一个技术.
分区针对的是数据的存储路径:分桶针对的是数据文件.

---

cluster by
cluster by除了具有distribute by的功能外,还兼具sort by的功能,但是排序只能是升序排序,不能指定排序规则为asc或者desc.
cluster by其实是把distribute by和sorts by给结合了.
当distribute by 和sort by字段相同时,可以使用cluster by方式.

select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;

分区排序(distribute by)

distribute by:在有些情况下,我们需要控制某个特定行应该到哪个reducer,通常是为了进行后续的聚集操作,distribute by子句可以做这件事,distribute by类似MR中的partition(自定义分区),进行分区,结合sort by使用.