1. oreder by
主要做全局排序
只要hive的sql中指定了order by,那么所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block,只会启动一个reducer )。但是对于大量数据这将会消耗很长的时间去执行。
这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit来限制输出条数。因为:所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数
2、sort by
每个reduce端都会进行排序,也就是局部有序。并且只使用sort by 的情况下,分区是随机的。
3、distribute by
指定分区,通常和sort by 一起使用。distribute by 必须写在sort by 前面,可以理解成按照XX分区,按照XX排序。
只按照grade字段排序,但是不指定分区字段:
select * from stu sort by grade;
先按照class分区,再按照grade排序:
select * from stu distribute by class sort by grade;
4、cluster by
当distribute by 和 sort by 所指定的字段相同时,即可以使用cluster by。
注意:cluster by指定的列只能是降序,不能指定asc和desc。
select * from stu distribute by class sort by class;
等价于:
select * from stu cluster by class;
当distribute by 和 sort by 所指定的部分字段相同时
select * from stu distribute by class sort by class,name;
等价于:
select * from stud distribute cluster by class sort by name;
注:被cluster 指定的列只能是降序