Spark2.3.0集群安装（2）-提交命令

最新推荐文章于 2022-06-01 16:15:53 发布

黑暗行动

最新推荐文章于 2022-06-01 16:15:53 发布

阅读量300

点赞数

分类专栏：大数据文章标签： yarn-client yarn-cluster standalone spark

本文链接：https://blog.csdn.net/chy2z/article/details/87565571

版权

大数据专栏收录该内容

42 篇文章 0 订阅

订阅专栏

上一篇：Spark2.3.0集群安装（1）-集群安装

spark可以部署到不同的资源平台上，支持以下4种模式：

Spark Mesos模式：官方推荐模式，通用集群管理，有两种调度模式：粗粒度模式（Coarse-grained Mode）与细粒度模式（Fine-grained Mode）；
Spark YARN模式：Hadoop YARN资源管理模式；
Standalone模式： 简单模式或称独立模式，可以单独部署到一个集群中，无依赖任何其他资源管理系统。不使用其他调度工具时会存在单点故障，使用Zookeeper等可以解决；
Local模式：本地模式，可以启动本地一个线程来运行job，可以启动N个线程或者使用系统所有核运行job；

本编讲下standalone和yarn模式的命令提交。

standalone-client

批处理文件

#!/usr/bin/env bash

sh /usr/local/spark-2.3.0/bin/spark-submit --class com.chy.rdd.initSpark --master spark://hpmaster:7077 --deploy-mode client --executor-memory 500m --driver-java-options "-Dspark.testing.memory=1073741824" --total-executor-cores 1 /usr/local/spark-2.3.0/examples/jars/sparkProject-1.0-SNAPSHOT.jar

流程图

执行流程

客户端提交任务后，在客户端启动Driver进程。
Driver会向Master申请启动Application启动的资源。
资源申请成功，Driver端将task发送到worker端执行。
worker将task执行结果返回到Driver端。

总结

client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。并且在Driver端可以看到task执行的情况。

standalone-cluster

批处理文件

#!/usr/bin/env bash

sh /usr/local/spark-2.3.0/bin/spark-submit --class com.chy.rdd.initSpark --master spark://hpmaster:7077 --deploy-mode cluster --driver-java-options "-Dspark.testing.memory=1073741824" --total-executor-cores 1 /usr/local/spark-2.3.0/examples/jars/sparkProject-1.0-SNAPSHOT.jar

流程图

执行流程

客户端提交应用程序后，会向Master请求启动Driver。
Master接受请求，随机在集群一台节点启动Driver进程。
Driver启动后为当前的应用程序申请资源。
Driver端发送task到worker节点上执行。
worker将执行情况和执行结果返回给Driver端。

总结

Driver进程是在集群某一台Worker上启动的，在客户端是无法查看task的执行情况的。

yarn-client

批处理文件

#!/usr/bin/env bash

sh /usr/local/spark-2.3.0/bin/spark-submit --class com.chy.rdd.initSpark --master yarn --deploy-mode client /usr/local/spark-2.3.0/examples/jars/sparkProject-1.0-SNAPSHOT.jar

流程图

执行流程

客户端提交应用程序后，在客户端启动Driver进程。
客户端启动Driver进程启动后会向RS(ResourceManager)发送请求，启动AM(ApplicationMaster)的资源。
RS收到请求，随机选择一台NM(NodeManager：相当于Standalone中的Worker节点)启动AM。
AM启动后，会向RS请求一批container资源，用于启动Executor.
RS会找到一批NM返回给AM,用于启动Executor。
AM会向NM发送命令启动Executor。
Executor启动后，会反向注册给Driver，Driver发送task到Executor，Executor将执行情况和结果返回给Driver端。

总结

因为Driver运行在本地，Driver会与yarn集群中的Executor进行大量的通信，会造成客户机网卡流量的大量增加，同样是适用于测试。

ApplicationMaster的作用：

为当前的Application申请资源
给NodeManager发送消息启动Executor。

注意：ApplicationMaster有launchExecutor和申请资源的功能，并没有作业调度的功能。

yarn-cluster

批处理文件

#!/usr/bin/env bash

sh /usr/local/spark-2.3.0/bin/spark-submit --class com.chy.rdd.initSpark --master yarn --deploy-mode cluster /usr/local/spark-2.3.0/examples/jars/sparkProject-1.0-SNAPSHOT.jar

流程图

执行流程

客户机提交Application应用程序，发送请求到RS(ResourceManager),请求启动AM(ApplicationMaster)。
RS收到请求后随机在一台NM(NodeManager)上启动AM（相当于Driver端）。
AM启动，AM发送请求到RS，请求一批container用于启动Executor。
RS返回一批NM节点给AM。
AM连接到NM,发送请求到NM启动Executor。
Executor反向注册到AM所在的节点的Driver，Driver发送task到Executor。

总结

Yarn-Cluster主要用于生产环境中，因为Driver运行在Yarn集群中某一台nodeManager中，每次提交任务的Driver所在的机器都是随机的，不会产生某一台机器网卡流量激增的现象，缺点是任务提交后不能看到日志。只能通过yarn查看日志。