Hive : SORT BY vs ORDER BY vs DISTRIBUTE BY vs CLUSTER BY

在Apache Hive中，像SQL一样，您可以根据全局排序和分布要求决定对数据进行全局排序或局部排序。在这篇文章中，我们将了解Hive中的SORT BY，ORDER BY，DISTRIBUTE BY和CLUSTER BY的含义。

sort by

sort by不是全局排序，其在数据进入reducer前完成排序，因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只会保证每个reducer的输出有序，并不保证全局有序。sort by不同于order by，它不受Hive.mapred.mode属性的影响，sort by的数据只能保证在同一个reduce中的数据可以按指定字段排序。使用sort by你可以指定执行的reduce个数(通过set mapred.reduce.tasks=n来指定)，对输出的数据再执行归并排序，即可得到全部结果。
sort by排序顺序将取决于列类型。如果该列是数字类型，那么排序顺序也是按数字顺序排列的。如果该列是字符串类型，那么排序顺序将是字典顺序。

Order by

hive中的orderby 跟传统的sql语言中的order by作用一样，会对查询结果做一次全局排序，所以说，hive的sql中所有数据都会到同一个reduce中进行处理(不管有多少map，也不管有多少的block都只会启动一个reducer)。但是对于大量数据这将耗费很长时间去执行。
这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=strict(默认是nonstrict),这时就必须指定limit来限制输出条数，原因是:所有的数据都会在同一个reducer端进行，数据量大的情况下可能不会出来结果，在严格模式下必须指定输出条数。

distribute by

distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法。sort by为每个reduce产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个reducer，这通常是为了进行后续的聚集操作。distribute by刚好可以做这件事。因此，distribute by经常和sort by配合使用。

cluster by

cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是倒叙排序，不能指定排序规则为ASC或者DESC。

总结：sort by是交给reducer前进行局部排序，order by是交给一个reducer进行全局排序，distribute by是控制在map端进行拆分，可以指定某行应该到具体哪个reducer，cluster by是distribute by和sort by的结合，但是只能倒叙。