order by 会最终在一个reducer上面做排序,全局统一
sort by 一般会和distribute by配合使用,distribute by会把按照后面跟的字段把数据打到同一个 reducer 上面,然后根据sort by在相应的reducer上面做局部聚合
cluster by 是distribute by和sort by的结合,不过只能按照某一个字段来排序
另外使用distribute by rand() 可以解决数据倾斜或者部分reducer计算压力较大的问题
比如
select city_name
,sum(sales_amt) as city_sales_amt
from (
select city_name,
sales_amt
from dwd.dwd_testing_sales_i