一、order by
order by后面不跟limit的话,order by会强制将reduce number设置成1,不加limit,会将所有数据sink到reduce端来做全局排序。多个reducer无法保证全局有序,但是因为只有一个reducer,就导致当输入数据规模较大时,需要较长计算时间。
为了避免大规模时间全局排序的发射,可以设置如下参数:
set hive.mapred.mode=nonstrict;(默认)
set hive.mapred.mode=strict;必须指定limit,否则会报错,单词strict的中文意思是”严格的”
例如:
set hive.mapred.mode=strict
select * from t1 order by amount;--会报错,必须指定limit
select * from t1 order by amount limit 1;
set hive.mapred.mode=strict强制要求在查询时候必须输入limit n,那就只有n*map number条记录而已,只有一个reduce也可以处理的过来。
结果说明:严格模式下,为提高性能,使用order by 不仅需要指定limit数量,若有分区表的话还需要指定分区。
二、Sort by
Sort by不是全局排序,其在数据进入reducer之前就完成排序
因此,如果用sort by 排序,并且设置mapred reduce tasks>1,这sort by只保证每个reducer的输出有序,不保证全局有序。