Hive中4个By的区别

Order by

order by会对输入进行全局排序，因此只有一个Reducer（多个Reducer无法保证全局有序），然而只有一个Reducer会导致计算效率非常低，使用较少。事实上，在生产环境中，order by 很容易造成OOM。

Sort by

sort by不是全局排序，它会在数据进入Reducer之前完成排序。因此如果使用sort by进行排序，并且设置mapreduce.job.reduces多于一个，则sort by只会保证每个reducer的输出有序，不能保证全局有序。但是可以对最后的结果进行归并排序实现全局排序。

Distribute by

distribute by的作用是控制map端如何拆分数据给reduce端。hive会根据distribute by后面的字段，对reduce的个数进行分发，默认采用的是hash算法。sort by保证每个reduce内有序，因此distribute by经常和sort by配合使用。生产环境中 distribute by + sort by用的多。

Cluster by

当distribute by 和 sort by字段相同时，可以使用cluster by。
cluster by除了具有distribute by的功能外还兼具sort by的排序功能。但是排序只能是默认的升序，无法指定排序规则。