hive中的order by ，sort by ,distribute by,cluster by的用法与区别

一、order by

order by后面不跟limit的话，order by会强制将reduce number设置成1，不加limit,会将所有数据sink到reduce端来做全局排序。多个reducer无法保证全局有序，但是因为只有一个reducer，就导致当输入数据规模较大时，需要较长计算时间。

为了避免大规模时间全局排序的发射，可以设置如下参数：

set hive.mapred.mode=nonstrict;(默认)
set hive.mapred.mode=strict;必须指定limit,否则会报错，单词strict的中文意思是”严格的”

例如：

set hive.mapred.mode=strict
select * from t1 order by amount;--会报错，必须指定limit
select * from t1 order by amount limit 1;

set hive.mapred.mode=strict强制要求在查询时候必须输入limit n，那就只有n*map number条记录而已，只有一个reduce也可以处理的过来。

结果说明：严格模式下，为提高性能，使用order by 不仅需要指定limit数量，若有分区表的话还需要指定分区。

二、Sort by

Sort by不是全局排序，其在数据进入reducer之前就完成排序

因此，如果用sort by 排序，并且设置mapred reduce tasks>1，这sort by只保证每个reducer的输出有序，不保证全局有序。