Spark-On-Yarn的两种模式(DeployMode)

Client(了解)

Spark的Driver驱动程序运行在提交任务的客户端上。

• 优点

1. 因为Driver在客户端，所有在Driver中的程序结果输出可以客户端控制台看到

• 缺点

1. 和集群的通信成本高
2. 当驱动进程挂掉，需要手动启动

client具体执行流程

1. Driver在任务提交的本地机器(客户端)上运行,Driver启动后会申请启动ApplicationMaster
2. 启动的ResourceManager会通知一台合适的机器(NodeManager),并分配Container(容器)，启动ApplicationMaster,此时ApplicationMaster的功能相当于一个ExcutorLaucher(计算任务执行管理者),只负责向ResourceManager申请Excutor内存
3. ResourceManager接收到ApplicationMaster的资源申请后会分配Container,然后ApplicationMaster在资源分配指定的NodeManager(通常有多个)上启动Excutor进程
4. Executor进程启动后会向Driver反向注册,当所有的Excutor全部注册完成后,Driver开始执行main函数
5. 之后执行带Action算子时,出发一个Job,并根据宽依赖开始划分Stage,每个Stage生成对应的TaskSet,之后将Task分发到各个Executor上执行。

案例
前提：
1.需要Yarn集群
2.历史服务器
3.提交任务的的客户端工具-spark-submit命令
4.待提交的spark任务/程序的字节码–可以使用示例程序

需求：求Pi元圆周率
代码：
SPARK_HOME=/export/servers/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn  \
--deploy-mode client \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.7.jar \
10

结果：

查看Web界面：
http://node01:8088/cluster

Cluster模式(开发使用)

Spark的Driver驱动程序，运行在Yarn集群上

• 优点

1.因为Driver是交给Yarn管理的，如果失败会有Yarn重启
2. 和集群的通信成本低

• 缺点

1.Drive中的程序结果在客户端控制台上看不到，在Yarn中看

具体流程步骤

1. 任务提交后合ResourceManager通讯申请启动ApplicationMaster
2. 随后ResourceManager分配Container，在合适的NodeManager启动ApplicationMaster,此时的ApplicationMaster就是Driver
3. Driver启动后向ResourceManager申请Excutor内存,ResourceManager接收到ApplicationMaster的资源申请后会分配Container,然后在合适的NodeManager上启动Excutor进程
4. Excutor进程启动后会反向注册
5. Excutor全部注册完成后Driver开始执行main函数,之后执行到Action算子时,触发job,并根据宽依赖开始划分stage,每个stage生成对应的taskSet,之后将taskset分发到Excutor上执行
   案例
   前提：
   1.需要Yarn集群
   2.历史服务器
   3.提交任务的的客户端工具-spark-submit命令
   4.待提交的spark任务/程序的字节码–可以使用示例程序

需求：求Pi元圆周率
代码：
SPARK_HOME=/export/servers/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn  \
--deploy-mode cluster \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.7.jar \
10

结果：

查看Web界面：
http://node01:8088/cluster

补充：spark-shell和spark-submit

• 两个命令的区别
  spark-shell：spark应用交互式窗口。启动后可以直接编写spark代码，即时运行，一般在学习测试时使用
  spark-submit：用来将spark任务/程序的jar包提交到spark集群(一般提交到yarn集群)

• 可以携带哪些参数

• –master：默认是local[*]
  或者指定 --master local[2]，表示启动两个线程进行Spark任务作业
  –master spark://node01:7077，表示在node01进行Spark任务作业
  –master yarn，表示在yarn集群上进行Spark任务作业

• 其他参数
  使用进行查看：spark-shell --help