本文探讨了Spark数据倾斜的原因，如数据分布不均和shuffle操作，并提供了七种解决方案，包括使用Hive预处理，过滤倾斜key，提高shuffle并行度，双重聚合，将reduce join转为map join，采样倾斜key分拆join，以及使用随机前缀扩容RDD进行join，以应对大数据处理中的数据倾斜问题。
目录
spark 数据倾斜优化
数据倾斜产生的原因
1、数据分布不均，有的key很多，有的key很少
2、有shuffle的过程
这两个原因也是解决数据倾斜的两个入手的方面
数据倾斜七种解决方案
其中 3、4、5、6 最重要
3和4 -- 聚合
5和6 -- 关联
1、使用Hive ETL预处理数据
2、过滤少数导致倾斜的key
3、提高shuffle操作的并行度
4、双重聚合
5、将reduce join转为map join
6、采样倾斜key并分拆join操作
7、使用随机前缀和扩容RDD进行join
使用Hive ETL预处理数据
相当于将数据倾斜提前到Hive中，Hive底层是M
最低0.47元/天 解锁文章
472
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
