![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark源码阅读
spark源码阅读
隔壁寝室老吴
菜鸟一枚
展开
-
Spark任务提交执行(二)
Spark任务提交全流程的源码的类调用时序图本篇博客主要是Spark任务提交到执行的全流程中的第二部分:从在本地执行代码碰到Action算子进行runJob到最后Task提交到Executor上执行。1、RDD类中,Action算子触发任务提交1、这里RDD调用算子生成新的RDD的候,会把前一个RDD传入到下一个RDD的构造函数作为成员变量。2、当为Action算子的时候会调用SparkContext.runJob()去提交任务。并且在runJob()方法中调用了DAGSchedule.原创 2020-10-18 17:35:05 · 498 阅读 · 0 评论 -
Spark任务提交执行(一)
1、首先上一个画好的阅读Spark任务提交全流程的源码的类调用时序图spark-submit时序图原创 2020-09-20 10:41:01 · 496 阅读 · 1 评论