数据倾斜2

如何避免因空值或者无意义的异常值引起的数据倾斜？
首先查看是否是这些值导致的倾斜，用select key，count（1） from table group by key。
如果是的话，解决方法为
在on时，如下写：

on case when length(a.key)符合异常条件 then concat(a.key,rand()) else a.key end =b.key; 

注意只有空值和异常值才能这样解决，因为加了随机数之后会导致join不上，而这些无意义的值本来就不需要join。

另外，对于有意义的值如何解决呢？目前只想到两点：1 把这些值摘出来，单独处理 2 用桶，不知道是否准确，没测试过。

关于桶的用法：

create table tmp.商品扩展2
(商家_id bigint,店铺_id bigint,商品_id,其它信息)
 clustered by (商家_id,店铺_id) into 10 buckets;
先建表，后插入