spark源码分析
文章平均质量分 79
plaiyuanyuan
这个作者很懒,什么都没留下…
展开
-
spark源码分析之任务提交(一)Rdd#collect方法分析
本文分析调用RDD的collect方法后的任务提交流程。RDD的collect方法调用了SprakContext的runJob方法,之后又调用了重载的runJob方法,然后调用DAGSchulder的runJob方法,然后调用submitJob方法。调用顺序如下。 RDD#collect() SprakContext#runJob[T, U: ClassTag](rdd: RDD[T],原创 2017-05-01 12:34:12 · 399 阅读 · 0 评论 -
spark源码分析之任务提交(二)newStage方法及Stage划分分析
上一节中介绍了调用了RDD的collect的方法后的一些执行流程,首先调用一系列SparkContext的runJob的重载方法。然后调用DAGScheduler的rubJob方法,此方法主要调用submitJob方法,用来将一个Job提交到job Schedular。DAGScheduler的handleJobSubmitted方法用于处理提交的job,其中很重要的一步就是创建finalStag原创 2017-05-01 16:01:29 · 435 阅读 · 0 评论