order by
它会对输出数据做全局排序,因此在order by 过程中会将所有数据放入一个reduce(如果是多个reduce的话则不能保证order by 后数据是有序的),当数据量大时,一个reduce的处理压力就成了问题。
当 set hive.mapred.mode=nonstrict (默认值)时,hive会正常处理order by 。
当 set hive.mapred.mode=strict 时,则在使用order by 时需加上 limit 进行输出限制,否则会报错。
所以在使用order by 的时候,最好是加上limit进行输入结果限制,这是个好习惯,同时也可以减少一个reduce的输出压力。
支持: asc/desc
注意:当 set hive.mapred.mode=strict后,会影响到以下的查询:1,查询分区表必须指定相应分区否则会报错;2,执行笛卡尔积会报错。
sort by
会对输出结果局部排序,其在数据进入reducer前完成排序。
因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保证每个reducer的输出有序,不保证全局有序。
sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响
sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。
使用sort by 你可以指定执行的reduce 个数 (set mapred.reduce.tasks=<number>),对输出的数据再执行归并排序,即可以得到全部结果。
支持:asc/desc
注意:可以用limit子句大大减少数据量。使用limit n后,传输到reduce端(单机)的数据记录数就减少到n* (map个数)。否则由于数据过大可能出不了结果。
distribute by
会按指定的字段,将数据划分到不同的reduce。也就是相当于mapreduce过程中的partition。
select classid,name from users distribute by classid ; 会将相同的classid划分到同一个reduce中,同一个reduce可以有多个不同classid的值。
注意:可以用distribute by + sort by 取代order by (但是无法全局排序),这也是一种优化手段。
cluster by
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。
但是排序只能是倒序排序,不能指定排序规则为asc 或者desc。