![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
源码
文章平均质量分 94
框架源码分析
comeOnBaby126
这个作者很懒,什么都没留下…
展开
-
spark源码解析之四、shuffle那些事儿
。。。。。原创 2021-03-15 10:21:25 · 334 阅读 · 0 评论 -
spark源码解析之一、整体概述
总体概述流程如下图原创 2021-02-24 19:03:52 · 302 阅读 · 0 评论 -
spark源码解析之二、计算资源准备
spark运行流程分为资源环境准备和任务提交运行两个步骤,两个步骤交叉进行,当前以资源准备为主线进行源码分析。一、源码时序图二、源码详细分析1 org.apache.spark.deploy1.1 main def main(args: Array[String]): Unit = { //解析spark-submit命令提交的参数 val appArgs = new SparkSubmitArguments(args) if (appArgs.verbose) {原创 2021-02-24 19:05:09 · 530 阅读 · 0 评论 -
spark源码解析之三、任务切分与运行
spark运行流程分为资源环境准备和任务提交运行两个步骤,两个步骤交叉进行,当前以任务提交为主线进行源码分析。资源环境准备线,可以参考spark源码解析之二、计算资源准备一、spark任务提交时序图本次源码跟踪是在yarn-cluster模式下的原码,在源码中只关注cluster模式,如果没有特殊说明,默认yarn-cluster模式。鉴于spark源码的复杂性,为了今后复习方便,按照时间先后顺序将spark应用启动的任务提交流程源码绘制时序图。在时序图中只是列举了重要的节点,与主题无关的类或者对象原创 2021-02-27 11:28:11 · 699 阅读 · 3 评论