distribute by、 clustered by 、 order by 、 sort by 的区别

order by 会最终在一个reducer上面做排序，全局统一

sort by 一般会和distribute by配合使用，distribute by会把按照后面跟的字段把数据打到同一个 reducer 上面，然后根据sort by在相应的reducer上面做局部聚合

cluster by 是distribute by和sort by的结合，不过只能按照某一个字段来排序

另外使用distribute by rand() 可以解决数据倾斜或者部分reducer计算压力较大的问题
比如

select city_name
,sum(sales_amt) as city_sales_amt
  from (
	select city_name,
	sales_amt
	  from dwd.dwd_testing_sales_id
	 where pt = '20220714'
	 distribute by pmod(hash(1000* rand()),100)
 ) t
 group by city_name

上述的代码会先根据1000* rand()后取hash值，再将跟100取模后的结果，发送到后面100个reducer中。 这样可以避免少量reducer计算大量的值。