摘要:本文主要是通过Spark代码走读来了解spark-submit的流程。
1.任务命令提交
我们在进行Spark任务提交时,会使用“spark-submit-class .....”样式的命令来提交任务,该命令为Spark目录下的shell脚本。它的作用是查询spark-home,调用spark-class命令。
随后会执行spark-class命令,以SparkSubmit类为参数进行任务向Spark程序的提交,而Spark-class的shell脚本主要是执行以下几个步骤:
(1)加载spark环境参数,从conf中获取
(2)载入java,jar包等