SparkSQL中groupby造成的数据倾斜

在写sql或是groupby方法的时候，经常会出现类似热点或是某个维度都shuffle到了同一个节点，这个可以在sparkUI中反映出来，导致某个executor直接dead，这时会重启一个executor去重新计算，一般如果集群资源不是很大的话，大概率依旧会死掉，重试三次之后可能job就失败了。
如果你尝试了增加分区或是其他参数的优化都无效的话，个人感觉，这是在groupby的时候进行hash操作导致，你只需要给分组的字段均匀分配到每个executor即可。我比较常用的方法就是给分组的字段增加前缀随机数，也就是常说的“加盐”，这样就可以平均分配到每个executor，计算结束后，再将前缀去掉，在进行分组聚合，这样就减少了数据都集中在单个executor上的计算压力
话不多说，直接上方法，这里用java写的两个超级简单的小方法：

import org.apache.spark.sql.api.java.UDF2;

import java.