Spark数据倾斜解决方案
数据倾斜带来的后果
1、OOM,一般OOM都是由于数据倾斜所致
2、速度变慢
数据倾斜表现:
任务分配不均匀,个别Task处理大量数据(OOM)
数据倾斜如何定位
1.WebUI 可以清晰看出每个task执行多少数据量
2.log日志,可以精准定位OOM产生的数据行,同时也可以看出哪个stage出现了数据倾斜
3.走读代码,重点分析reducebykey,groupbykey,join等
4.分析...
原创
2020-07-17 17:51:03 ·
105 阅读 ·
0 评论