SparkSQL中的groupby操作可能导致数据倾斜，表现为热点数据集中在单个executor，引发任务失败。通过在分组字段前添加随机数（加盐）可以均匀分布数据，避免executor死掉。在计算完成后移除前缀，完成正常聚合，有效缓解计算压力。文中提供Java实现的加盐和去除随机前缀的UDF函数。
在写sql或是groupby方法的时候，经常会出现类似热点或是某个维度都shuffle到了同一个节点，这个可以在sparkUI中反映出来，导致某个executor直接dead，这时会重启一个executor去重新计算，一般如果集群资源不是很大的话，大概率依旧会死掉，重试三次之后可能job就失败了。
如果你尝试了增加分区或是其他参数的优化都无效的话，个人感觉，这是在groupby的时候进行hash操作导致，你只需要给分组的字段均匀分配到每个executor即可。我比较常用的方法就是给分组的字段增加前缀随机数，也就是常说的“加盐”，这样就可以平均分配到每个executor，计算结束后，再将前缀去掉，在进行分组聚合，这样就减少了数据都集中在单个executor上的计算压力
话不多说，直接上方法，这里用java写的两个超级简单的小方法：
import org.apache.spark.sql.api.java.UDF2;
import java.
最低0.47元/天 解锁文章
636
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
