Spark内核之YARN Cluster模式源码详解（Submit详解）

最新推荐文章于 2024-04-11 19:53:34 发布

大数据点滴

最新推荐文章于 2024-04-11 19:53:34 发布

阅读量7.4k

点赞数 6

分类专栏： # Spark 文章标签： spark spark Submit spark源码 Yarn Cluster源码

本文链接：https://blog.csdn.net/m0_48283915/article/details/108692109

版权

Spark 专栏收录该内容

16 篇文章 4 订阅

订阅专栏

一、YARN Cluster 模式图解

二、Yarn cluster运行机制源码分析

1.SparkSubmit

2. yarn.YarnClusterApplication

3. ApplicationMaster

4. 注册ApplicationMaster并申请资源启动ExecutorBackend

5. CoarseGrainedExecutorBackend

6. 总结

7. Spark通用运行流程概述

由于在实际工厂环境下使用的绝大多数的集群管理器是Hadoop YARN，因此我们关注的重点是Hadoop YARN模式下的Spark集群部署的YARN Cluste模式源码详解。

`一、YARN Cluster` 模式图解

执行脚本提交任务，实际是启动一个SparkSubmit的JVM进程；
SparkSubmit类中的main方法反射调用YarnClusterApplication的main方法；
YarnClusterApplication创建Yarn客户端，然后向Yarn服务器发送执行指令：bin/java ApplicationMaster；
Yarn框架收到指令后会在指定的NM中启动ApplicationMaster；
ApplicationMaster启动Driver线程，执行用户的作业；
AM向RM注册，申请资源；
获取资源后AM向NM发送指令：bin/java YarnCoarseGrainedExecutorBackend；
CoarseGrainedExecutorBackend进程会接收消息，跟Driver通信，注册已经启动的Executor；然后启动计算对象Executor等待接收任务
Driver线程继续执行完成作业的调度和任务的执行。
Driver分配任务并监控任务的执行。
注意：SparkSubmit、ApplicationMaster和CoarseGrainedExecutorBackend是独立的进程；
      Driver是独立的线程；
      Executor和YarnClusterApplication是对象。

二、`Yarn cluster`运行机制源码分析

1.SparkSubmit

◼ 概述

org.apache.spark.deploy.SparkSubmit

--主要讲述job提交应用以后，环境的准备工作。主要包含以下：
1. spark向yarn提交job的过程
2. yarn中application、driver、executor、container是如何相互响应

◼ 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploymode cluster \   表示yarn的集群模式
./examples/jars/spark-examples_2.12-2.4.5.jar \
10

-- 说明：
--master yarn 默认是采用yarn的客户端模式，但是在实际过程中，我们都是使用yarn的集群模式。
所以增加：--deploymode cluster \

◼ 源码解析

org.apache.spark.deploy.SparkSubmit
点击Submit中的main方法
<****************************************main******************************************> 
override def main(args: Array[String]): Unit = {
    val submit = new SparkSubmit() {
    .......
    submit.doSubmit(args) -->执行提交程序,点击doSubmit
  }
<**************************************doSubmit*****************************************>
 def doSubmit(args: Array[String]): Unit = {
    ............
	//解析参数，便于处理   
    ①、 val appArgs = parseArguments(args)  -->解析参数，解析应用提交的参数，点击parseArguments
           a、parse(args.asJava)   -->具体进行参数的解析，点击parse，返回参数的解析，方法的内部调用了handle方法
               action = Option(action).getOrElse(SUBMIT)，-->默认值为submit
            b、handle(opt: String, value: String) -->opt:参数的名称，value：参数的值。
                      左边是参数  => 右边是赋值的变量
                     // --master yarn => master
                     // --deploy-mode cluster => deployMode
                     // --class SparkPI(WordCount) => 【mainClass】
                     
          "如上为解析参数"
     ......
    // 如果没有指定 action, 则 action 的默认值是:   action = Option(action).getOrElse(SUBMIT)
    appArgs.action match {
      case SparkSubmitAction.SUBMIT => submit(appArgs, uninitLog)
      case SparkSubmitAction.KILL => kill(appArgs)
      case SparkSubmitAction.REQUEST_STATUS => requestStatus(appArgs)
      case SparkSubmitAction.PRINT_VERSION => printVersion()
    }
  }
<**************************************Submit*****************************************>
  private def submit(args: SparkSubmitArguments, uninitLog: Boolean): Unit = {

    def doRunMain(): Unit = {
  		........
        runMain(args, uninitLog)
     	........
    }   
    if (args.isStandaloneCluster && args.useRest) {
	.......
    } else {
      doRunMain()
    }
  }

<*************************************doRunMain*****************************************>
    def doRunMain(): Unit = {
      	......
        runMain(args, uninitLog) -- 运行主程序，在runmain()方法中
		.......
    }
<*************************************RunMain*****************************************>
  private def runMain(args: SparkSubmitArguments, uninitLog: Boolean): Unit = {
    //1.准备提交环境
    val (childArgs, childClasspath, sparkConf, childMainClass) = prepareSubmitEnvironment(args)
	.............
    var mainClass: Class[_] = null
    try {
    //2.通过类名加载这个类，'反射的方式'  
    mainClass = Utils.classForName(childMainClass)
 	..........
	//3.创建第3步类的实例，并将类型转换为SparkApplication
    val app: SparkApplication = if (classOf[SparkApplication].isAssignableFrom(mainClass)) {
      mainClass.getConstructor().newInstance().asInstanceOf[SparkApplication]
    } else {
      new JavaMainApplication(mainClass)
    }
	............ 
    try {
      app.start(childArgs.toArray, sparkConf)
	.............
  }
<*************************************start*****************************************>
//此方法是一个抽象方法，找到实现类YarnClusterApplication的start方法
private[spark] trait SparkApplication {
  def start(args: Array[String], conf: SparkConf): Unit
}