- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark进行map,join分worker数少的一些问题
1、fullouterjoin导致的分配worker少： 一开始 然后加coalesce（1000） 还是用的worker很少 然后调整join顺序，之前是（小数据）fullouterjoin(大数据)，把大小数据顺序调换，worker多了，执行变快 最后结果 ps: 改变join时spark shuffle用的worker数 --conf spark.sql.sh...
2018-04-24 10:47:42
693
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人