- 博客(2)
- 资源 (13)
- 收藏
- 关注
原创 【spark】Shuffle过程解析
Shuffle过程解析ShuffleMapTask ShuffleMapTask时shuffle过程的入口,runTask方法实现了shuffle的主要逻辑,runTask依赖ShuffleManager和ShuffleWriter实现具体的操作,其中ShuffleManager和ShuffleWriter在目前spark版本中都有多种实现,可以通过spark.shuffle.manager参数
2017-04-03 00:09:50 869
原创 【spark】HashShuffleManager解析
HashShuffleManager HashShuffleManager在spark早期版本中为默认shuffle管理器(spark1.2以前)。单此版本存在明显的弊端,此shuffleManager在作业运行阶段会产生大量的文件,任务在此环节会产生大量IO操作。接下来我们会一起探讨HashShuffleManager的具体执行逻辑。
2017-04-02 23:29:39 1706
计算机\计算机软件\SQL\MySQL-Front_Setup.zip
2011-09-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人