学习
文章平均质量分 51
yelon已存在
这个作者很懒,什么都没留下…
展开
-
DAGScheduler生成各个stage的细节--getAncestorShuffleDependencies()展开去:为什么stage是套着的以及stage1,stage2怎么生成的
基本的划分流程请见https://www.jianshu.com/p/50c5c1032206,这里有一点异议。 上图: 在DAGSchedulerEventProcessLoop接收到JobSubmitted事件后,调用handleJobSubmitted方法,里面调用了newStage方法,这里第一次调用,传入newStage方法的是finalRDD进入newStage方法...原创 2018-04-21 13:45:10 · 470 阅读 · 0 评论 -
stage的发送---stage0已发送,stage1怎么发送
基于1.3源码private[scheduler] class DAGSchedulerEventProcessLoop(dagScheduler: DAGScheduler) extends EventLoop[DAGSchedulerEvent]("dag-scheduler-event-loop") with Logging { /** ...原创 2018-04-21 15:35:24 · 567 阅读 · 0 评论 -
Stage的整体基本划分流程【转载】
这个。。。不能转载。。就帖链接吧。。。 目前发现的初本为 [Spark源码剖析] DAGScheduler划分stage 但是有些错误没有改,稍后一些的版本为基于上文↑↑↑↑修改的: [Spark源码剖析] DAGScheduler划分stage里面较仔细的基于源码介绍了DAGScheduler的stage划分流程,迷雾中找到方向。。。 复制粘贴不好使,版面太乱,点进去看吧。。谁...转载 2018-04-21 15:53:17 · 1628 阅读 · 0 评论