我们通过spark-submit提交自己编写的代码,即提交一个Application。首先就是有一个Driver进程,在该进程构造SparkConf和SparkContext,而在构造SparkContext的时候会去构造DAGScheduler和TaskScheduler,以及Spark UI。在这里我们对SparkContext初始化原理进行剖析,就是剖析如何构造这三个组件的。
Spark架构原理-SparkContext的初始化原理
最新推荐文章于 2021-11-08 01:24:02 发布