- 博客(3)
- 收藏
- 关注
RSS订阅转载 Stage的整体基本划分流程【转载】
这个。。。不能转载。。就帖链接吧。。。 目前发现的初本为 [Spark源码剖析] DAGScheduler划分stage 但是有些错误没有改，稍后一些的版本为基于上文↑↑↑↑修改的： [Spark源码剖析] DAGScheduler划分stage 里面较仔细的基于源码介绍了DAGScheduler的stage划分流程，迷雾中找到方向。。。 复制粘贴不好使，版面太乱，点进去看吧。。 谁...
2018-04-21 15:53:17
1627
原创 stage的发送---stage0已发送，stage1怎么发送
基于1.3 源码 private[scheduler] class DAGSchedulerEventProcessLoop(dagScheduler: DAGScheduler) extends EventLoop[DAGSchedulerEvent]("dag-scheduler-event-loop") with Logging { /** ...
2018-04-21 15:35:24
566
原创 DAGScheduler生成各个stage的细节--getAncestorShuffleDependencies()展开去：为什么stage是套着的以及stage1，stage2怎么生成的
基本的划分流程请见https://www.jianshu.com/p/50c5c1032206，这里有一点异议。 上图： 在DAGSchedulerEventProcessLoop接收到JobSubmitted事件后，调用handleJobSubmitted方法，里面调用了newStage方法，这里第一次调用，传入newStage方法的是finalRDD 进入newStage方法...
2018-04-21 13:45:10
470
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人