Spark学习（三）：spark 的任务提交方式

最新推荐文章于 2023-03-08 16:08:45 发布
最新推荐文章于 2023-03-08 16:08:45 发布
阅读量557 收藏 3
点赞数 1
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiezou12138/article/details/88949947
版权
本文详细介绍了Spark在Standalone和Yarn模式下的任务提交方式，包括client和cluster模式，分析了各自的执行原理、流程及特点。讨论了Driver的功能，并概述了Spark的任务调度和资源调度流程，包括粗粒度和细粒度资源申请的优缺点。
摘要由CSDN通过智能技术生成

目录

1. Standalone模式两种提交任务方式

1.1 Standalone-client提交任务方式

1.2 Standalone-cluster提交任务方式

1.3 Driver的功能

2. yarn模式两种提交任务方式

2.1 yarn-client提交任务方式

2.2 Standalone-cluster提交任务方式

2.3 Application功能

3. 术语解释

4. Spark任务调度和资源调度

4.1 spark资源调度和任务调度流程

4.2图解Spark资源调度和任务调度的流程

4.3 粗粒度资源申请和细粒度资源申请

1. Standalone模式两种提交任务方式

1.1 Standalone-client提交任务方式

提交命令

...代表spark安装目录

./spark-submit  --master spark://hadoop101:7077  --class org.apache.saprk.examples.SparkPi  .../examlpes/jars/spark-examples_2.11-2.2.0.jar  100

./spark-submit  --master spark://hadoop101:7077  --depoly-mode  client  --class org.apache.saprk.examples.SparkPi  .../examlpes/jars/spark-examples_2.11-2.2.0.jar  100

执行原理图解

执行流程

  1. 在客户端提交Spark应用程序，会在客户端启动Driver。
  2. 客户端向Master申请资源，Master找到资源返回。
  3. Driver向worker节点发送task，监控task执行，回收结果。

总结

client方式提交任务，在客户端提交多个application，客户端会为每个application都启动一个Driver， Driver与集群Worker节点有大量通信，这样会造成客户端网卡流量激增。

在客户端可以看到task执行情况和计算结果。

client方式提交任务适用于程序测试，不适用于真实生产环境。

1.2 Standalone-cluster提交任务方式

提交命令

./spark-submit  --master spark://hadoop101:7077  --depoly-mode  cluster  --class org.apache.saprk.examples.SparkPi  .../examlpes/jars/spark-examples_2.11-2.2.0.jar  100

执行原理图解

 

执行流程

  1. 客户端提交application，客户端首先向Master申请启动Driver
  2. Master收到请求之后，随机在一台Worker节点上启动Driver
  3. Driver启动之后，向Master申请资源，Master返回资源。
  4. Driver发送task，监控task执行，回收结果。

总结

cluster方式提交任务，Driver在集群中的随机一台Worker节点上启动，分散了client方式的网卡流量激增问题。 cluster方式适用于真实生产环境，在客户端看不到task执行情况和执行结果，要去WEBUI中去查看。

1.3 Driver的功能

在standalone模式中Driver的功能

  1. 发送task
  2. 监控task执行，回收结果
  3. 申请资源      

2. yarn模式两种提交任务方式

2

最低0.47元/天 解锁文章
jiezou12138
关注
专栏目录
Educoder中Spark任务提交
weixin_46026136的博客
05-13 5057
第1关：spark-submit提交 #!/bin/bash cp -r Spark/SparkRDD/target/project.jar /root cd /opt/spark/dist/bin #********** Begin **********# ./spark-submit --master local --class Student /root/project.jar #********** End **********#
Spark基础之：集群角色以及任务提交流程
weixin_43542605的博客
01-13 1737
本篇主要介绍两块内容： 一、Spark集群主要角色以及每个角色的主要功能，包含Spark自身角色以及Spark运行在Yarn（Spark on Yarn）上的角色。 二、Spark运行时任务提交的流程。
Spark的三种提交模式
威少（微笑）
04-28 2970
目录 一：模式分类 二：模式适合情景 三：图形化流程 一：模式分类 1.standalone：Master-Worker集群 —— 见博文：《 SparkContext内核架构深度剖析》 2.yarn-cluster：（cluster：英 ['klʌstə] n. 群；丛） spark-submit ———》 ResourceManager ————》 NodeManager...
spark yarn 提交_Spark 的作业提交方式（Standalone,Yarn）
weixin_29100399的博客
12-23 231
Spark 作业提交流程1、编写好一个 SparkAPP，编译成 JAR.2、上传到 Spark 机器，使用 Spark-Submit 提交作业。3、根据提交作业的模式启动 Driver，并请求 Cluster Manager 分配资源启动 Executor 线程。4、Executor 启动成功后反响注册到 Driver 中，Driver 会分发 JAR 包到各个 Executor 上。5、Dri...
spark提交作业的几种模式
qq_17485329的博客
02-24 1086
1、用yarn-cluster模式提交spark作业/usr/local/spark/bin/spark-submit \--class org.apache.spark.example.JavaSparkPi \--master yarn-cluster \--num-executors 1 \--driver-memory 10m \--executor-memory 10m \--execu...
Spark 三种作业提交方式
越疆
01-08 3037
Local 本地方式：直接在 IDEA 中运行程序，无需打包发布到集群中，方便测试。 Standalone 方式：Spark 原生的 Master/Worker 集群， Yarn 方式：Hadoop 的 Yarn 集群，recourseManager/NodeManager 集群，通过 Yarn 来进行资源的和管理调度。 本地方式是在本地 JVM 中启动一个进程来模拟运行环境，多个线程进行作业...
spark任务提交
天海行者的专栏
12-18 387
提交第一个spark应用到集群中运行 bin/spark-submit --master spark://node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 examples/jars/spark-examples_2.11-2.2.0...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
spark提交任务方式：通过RestSubmissionClientApp提交任务
htht555的博客
12-25 904
Java项目通过通过RestSubmissionClientApp提交spark任务，并获取执行状态 SparkConf sparkConf = new SparkConf(); //配置文件地址 String[] args = { }; //设置参数 sparkConf.setMaster(master)//master地址 .setAppName
spark提交过程分析（standalone模式）
clearlove_lbx的博客
06-21 332
一、构造SparkContext Paste_Image.png 1.1. 在shell下，通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式，创建和构造一个DriverActor进程出来（scala中的actor类似java的多线程） 1.2. Driver进程会执行我们提交的Applicati...
SparkSubmit到YarnClient入门
古笑来的博客
03-21 779
Spark-Submit分析 https://www.cnblogs.com/liangjf/p/8134645.html 抛开spark-submit脚本提交spark程序 https://blog.csdn.net/yhb315279058/article/details/51713309 使用JAVA代码实现编程式提交Spark任务 https://blog.csdn.net/gx30441...
Spark中yarn模式两种提交任务方式（yarn-client与yarn-cluster）
AcceptedLin的博客
05-10 1万+
Spark中yarn模式两种提交任务方式（yarn-client与yarn-cluster） Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务的方式。 1.yarn-client提交任务方式 配置 在client节点配置中spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务，具体步骤如下： export HADOOP_CONF_DIR=$HADOOP_HOME/etc/had...
spark yarn 提交_Spark之YARN提交模式
weixin_42615290的博客
12-23 270
一.Client模式提交命令：./spark-submit --master yarn --class org.apache.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.7.3.jar 1000./spark-submit --master yarn-client --class org.apache.examples.SparkPi ...
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 9030
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
spark任务提交方式yarn-client和yarn-cluster对比
最新发布
weixin_41745141的博客
03-08 1096
spark任务提交方式yarn-client和yarn-cluster对比
spark提交任务命令
weixin_44280356的博客
10-21 3764
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
体验第一个spark程序（第四弹）
m0_57781407的博客
08-07 1762
先启动spark集群或者启动hdfs集群，如果之前有开启，则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在standalone模式下，连接到指定spark集群，默认端口号是7077。在spark目录下启动spark服务（未停止的，先停止在启动）启动Hadoop服务（未停止的，先停止在启动）遇到不能创建问题是因为。...
spark基础知识选择、判断、简答题。
weixin_43793040的博客
06-08 1万+
** # spark相关题目 ** 1、 持久化RDD的存储级别中，将RDD分区全部存储到磁盘上的存储级别是（）。 A、MEMORY_ONLY B、MEMORY_AND_DISK C、DISK_ONLY D、MEMORY_ONLY_SER 参考答案: C 答案解析: 暂无解析 2、 当MemStore存储的数据达到一个阀值（）时，数据就会被进行flush操作，将数据写入到StoreFile文件。 A、64M B、128M C、256M D、512M 参考答案: B 答案解析: 暂无解析 3、 下列选项中
spark-shell --master yarn-client(异常已经解决)
热门推荐
程裕强的专栏
04-09 3万+
[root@node1 ~]# spark-shell --master yarn-client Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. Using Spark's default log4j profile: o
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值