Spark on YARN两种运行模式

1 官网地址

链接

2 Spark on Yarn的两种运行模式

1. Spark on Yarn的两种运行模式：cluster和client;
2. 一句话概述两种的区别就是Spark driver到底运行再什么地方，带着这个问题来学习两种的区别；
3. In cluster mode：Driver运行在NodeManage的AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。可以参考这篇博客理解job提交到yarn上的执行流程。
4. In client mode:Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互，并将最后的结果汇总。

3 架构图

• In cluster mode
  
  运行流程

  1. 由client向ResourceManager提交请求，并上传jar到HDFS上
     这期间包括四个步骤：
     a). 连接到RM
     b). 从RM ASM（ApplicationsManager ）中获得metric、queue和resource等信息。
     c). upload app jar and spark-assembly jar
     d). 设置运行环境和container上下文（launch-container.sh等脚本)

  2. ResouceManager向NodeManager申请资源，创建Spark ApplicationMaster（每个SparkContext都有一个ApplicationMaster）

  3. NodeManager启动Spark App Master，并向ResourceManager AsM注册
  4. Spark ApplicationMaster从HDFS中找到jar文件，启动DAGscheduler和YARN Cluster Scheduler
  5. ResourceManager向ResourceManager AsM注册申请container资源（INFO YarnClientImpl: Submitted application）
  6. ResourceManager通知NodeManager分配Container，这时可以收到来自ASM关于container的报告。（每个container的对应一个executor）
  7. Spark ApplicationMaster直接和container（executor）进行交互，完成这个分布式任务。
• In client mode
  

客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都 是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver- memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显 示，Driver以进程名为SparkSubmit的形式存在。
配置YARN-Client模式同样需要HADOOP_CONF_DIR/YARN_CONF_DIR和SPARK_JAR变量。