Spark on YARN两种运行模式介绍

最新推荐文章于 2024-06-22 08:37:39 发布
最新推荐文章于 2024-06-22 08:37:39 发布
阅读量9.5k 收藏 2
点赞数 2
分类专栏： spark

文章来源：http://www.aboutyun.com/thread-12294-1-1.html


id="cproIframe_u1728839_3" width="120" height="240" src="http://pos.baidu.com/acom?adn=4&at=160&aurl=&cad=1&ccd=24&cec=GBK&cfv=0&ch=0&col=zh-CN&conOP=0&cpa=1&dai=3&dis=0&layout_filter=rank%2Cimage&ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DlZobprTYvMP1Ea94LmvZL7ko8Ixuuyj84I8lxSrPsT4rn8EIcx-h3y-wI0we9g4YMK6GBs-TPgYvFkPLxL_oAq%26wd%3D%26eqid%3De1d5b00a0004176100000003565d768a&ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-12294-1-1.html&lunum=6&n=92051019_cpr&pcs=1349x623&pis=10000x10000&ps=614x1133&psr=1366x768&pss=1349x911&qn=5c170ce40549d3db&rad=&rsi0=120&rsi1=240&rsi5=4&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000ff&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=tabcloud_skin_3&stid=5&td_id=1728839&tn=text_default_120_240&tpr=1448965540714&ts=1&version=2.0&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u1728839&ti=Spark%20on%20YARN%E4%B8%A4%E7%A7%8D%E8%BF%90%E8%A1%8C%E6%A8%A1%E5%BC%8F%E4%BB%8B%E7%BB%8D-Spark-about%E4%BA%91%E5%BC%80%E5%8F%91&tt=1448965540698.628.688.688" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="word-wrap: break-word;">

问题导读

1.Spark在YARN中有几种模式？
2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？
3.由client向ResourceManager提交请求，并上传jar到HDFS上包含哪些步骤？
4.传递给app的参数应该通过什么来指定？
5.什么模式下最后将结果输出到terminal中？






Spark在YARN中有yarn-cluster和yarn-client两种运行模式:
I. Yarn Cluster
Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的worker节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。因为Driver程序在YARN中运行，所以事先不用启动Spark Master/Client，应用的运行结果不能在客户端显示（可以在history server中查看），所以最好将结果保存在HDFS而非stdout输出，客户端的终端显示的是作为YARN的job的简单运行状况。


by @Sandy Ryza


by 明风@taobao
从terminal的output中看到任务初始化更详细的四个步骤：
  1. 14/09/28 11:24:52 INFO RMProxy: Connecting to ResourceManager at hdp01/172.19.1.231:8032
  2. 14/09/28 11:24:52 INFO Client: Got Cluster metric info from ApplicationsManager (ASM), number of NodeManagers: 4
  3. 14/09/28 11:24:52 INFO Client: Queue info ... queueName: root.default, queueCurrentCapacity: 0.0, queueMaxCapacity: -1.0,
  4. queueApplicationCount = 0, queueChildQueueCount = 0
  5. 14/09/28 11:24:52 INFO Client: Max mem capabililty of a single resource in this cluster 8192
  6. 14/09/28 11:24:53 INFO Client: Uploading file:/usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar to hdfs://hdp01:8020/user/spark/.sparkStaging/application_1411874193696_0003/spark-examples_2.10-1.0.0-cdh5.1.0.jar
  7. 14/09/28 11:24:54 INFO Client: Uploading file:/usr/lib/spark/assembly/lib/spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar to hdfs://hdp01:8020/user/spark/.sparkStaging/application_1411874193696_0003/spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar
  8. 14/09/28 11:24:55 INFO Client: Setting up the launch environment
  9. 14/09/28 11:24:55 INFO Client: Setting up container launch context
  10. 14/09/28 11:24:55 INFO Client: Command for starting the Spark ApplicationMaster: List($JAVA_HOME/bin/java, -server, -Xmx512m, -Djava.io.tmpdir=$PWD/tmp, -Dspark.master="spark://hdp01:7077", -Dspark.app.name="org.apache.spark.examples.SparkPi", -Dspark.eventLog.enabled="true", -Dspark.eventLog.dir="/user/spark/applicationHistory", -Dlog4j.configuration=log4j-spark-container.properties, org.apache.spark.deploy.yarn.ApplicationMaster, --class, org.apache.spark.examples.SparkPi, --jar , file:/usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar, , --executor-memory, 1024, --executor-cores, 1, --num-executors , 2, 1>, <LOG_DIR>/stdout, 2>, <LOG_DIR>/stderr)
  11. 14/09/28 11:24:55 INFO Client: Submitting application to ASM
  12. 14/09/28 11:24:55 INFO YarnClientImpl: Submitted application application_1411874193696_0003
  13. 14/09/28 11:24:56 INFO Client: Application report from ASM:
  14. application identifier: application_1411874193696_0003
  15. appId: 3
  16. clientToAMToken: null
  17. appDiagnostics:
  18. appMasterHost: N/A
  19. appQueue: root.spark
  20. appMasterRpcPort: -1
  21. appStartTime: 1411874695327
  22. yarnAppState: ACCEPTED
  23. distributedFinalState: UNDEFINED
  24. appTrackingUrl: http://hdp01:8088/proxy/application_1411874193696_0003/
  25. appUser: spark
复制代码

1. 由client向ResourceManager提交请求，并上传jar到HDFS上
这期间包括四个步骤：
a). 连接到RM
b). 从RM ASM（ApplicationsManager ）中获得metric、queue和resource等信息。
c). upload app jar and spark-assembly jar
d). 设置运行环境和container上下文（launch-container.sh等脚本)

2. ResouceManager向NodeManager申请资源，创建Spark ApplicationMaster（每个SparkContext都有一个ApplicationMaster）
3. NodeManager启动Spark App Master，并向ResourceManager AsM注册
4. Spark ApplicationMaster从HDFS中找到jar文件，启动DAGscheduler和YARN Cluster Scheduler
5. ResourceManager向ResourceManager AsM注册申请container资源（INFO YarnClientImpl: Submitted application）
6. ResourceManager通知NodeManager分配Container，这时可以收到来自ASM关于container的报告。（每个container的对应一个executor）
7. Spark ApplicationMaster直接和container（executor）进行交互，完成这个分布式任务。
需要注意的是：
a). Spark中的localdir会被yarn.nodemanager.local-dirs替换
b). 允许失败的节点数(spark.yarn.max.worker.failures)为executor数量的两倍数量，最小为3.
c). SPARK_YARN_USER_ENV传递给spark进程的环境变量
d). 传递给app的参数应该通过–args指定。

部署：
环境介绍：
hdp0[1-4]四台主机
hadoop使用CDH 5.1版本: hadoop-2.3.0+cdh5.1.0+795-1.cdh5.1.0.p0.58.el6.x86_64
直接下载对应2.3.0的pre-build版本 http://spark.apache.org/downloads.html
下载完毕后解压，检查spark-assembly目录：

  1. file /home/spark/spark-1.1.0-bin-hadoop2.3/lib/spark-assembly-1.1.0-hadoop2.3.0.jar
  2. /home/spark/spark-1.1.0-bin-hadoop2.3/lib/spark-assembly-1.1.0-hadoop2.3.0.jar: Zip archive data, at least v2.0 to extract
复制代码


然后输出环境变量HADOOP_CONF_DIR/YARN_CONF_DIR和SPARK_JAR(可以设置到spark-env.sh中）
  1. export HADOOP_CONF_DIR=/etc/hadoop/etc
  2. export SPARK_JAR=/home/spark/spark-1.1.0-bin-hadoop2.3/lib/spark-assembly-1.1.0-hadoop2.3.0.jar
复制代码


如果使用cloudera manager 5，在Spark Service的操作中可以找到Upload Spark Jar将spark-assembly上传到HDFS上。





Spark Jar Location (HDFS) 
spark_jar_hdfs_path
/user/spark/share/lib/spark-assembly.jar
默认值
The location of the Spark jar in HDFS
Spark History Location (HDFS) 
spark.eventLog.dir
/user/spark/applicationHistory
默认值
The location of Spark application history logs in HDFS. Changing this value will not move existing logs to the new location.
提交任务，此时在YARN的web UI和history Server上就可以看到运行状态信息。
  1. spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar
复制代码

II. yarn-client
(YarnClientClusterScheduler)查看对应类的文件
在yarn-client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互，并将最后的结果汇总。结束掉终端，相当于kill掉这个spark应用。一般来说，如果运行的结果仅仅返回到terminal上时需要配置这个。


客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都 是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver- memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显 示，Driver以进程名为SparkSubmit的形式存在。
配置YARN-Client模式同样需要HADOOP_CONF_DIR/YARN_CONF_DIR和SPARK_JAR变量。
提交任务测试：
  1. spark-submit --class org.apache.spark.examples.SparkPi --deploy-mode client /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar
  2. terminal output：

  4. 14/09/28 11:18:34 INFO Client: Command for starting the Spark ApplicationMaster: List($JAVA_HOME/bin/java, -server, -Xmx512m, -Djava.io.tmpdir=$PWD/tmp, -Dspark.tachyonStore.folderName="spark-9287f0f2-2e72-4617-a418-e0198626829b", -Dspark.eventLog.enabled="true", -Dspark.yarn.secondary.jars="", -Dspark.driver.host="hdp01", -Dspark.driver.appUIHistoryAddress="", -Dspark.app.name="Spark Pi", -Dspark.jars="file:/usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar", -Dspark.fileserver.uri="http://172.19.17.231:53558", -Dspark.eventLog.dir="/user/spark/applicationHistory", -Dspark.master="yarn-client", -Dspark.driver.port="35938", -Dspark.httpBroadcast.uri="http://172.19.17.231:43804", -Dlog4j.configuration=log4j-spark-container.properties, org.apache.spark.deploy.yarn.ExecutorLauncher, --class, notused, --jar , null, --args 'hdp01:35938' , --executor-memory, 1024, --executor-cores, 1, --num-executors , 2, 1>, <LOG_DIR>/stdout, 2>, <LOG_DIR>/stderr)
  5. 14/09/28 11:18:34 INFO Client: Submitting application to ASM
  6. 14/09/28 11:18:34 INFO YarnClientSchedulerBackend: Application report from ASM:
  7. appMasterRpcPort: -1
  8. appStartTime: 1411874314198
  9. yarnAppState: ACCEPTED
  10. ......
复制代码
##最后将结果输出到terminal中

buster2014
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Spark（九）：Spark On Yarn两种模式总结
Lansonli（蓝深李）的博客
04-11 1031
Spark On Yarn两种模式 引入 一、当一个MR应用提交运行到Hadoop YARN上时 包含两个部分：应用管理者AppMaster和运行应用进程Process（如MapReduce程序MapTask和ReduceTask任务），如下图所示： 二、当一个Spark应用提交运行在集群上时 应用架构有两部分组成：Driver Program（资源申请和调度Job执行）和Executors（运行Job中Task任务和缓存数据），都是JVM Process进程： 而Drive..
Spark On Yarn的两种运行模式
小叮当的博客
11-07 1976
spark on yarn两种部署方式
Spark on YARN两种运行模式的演示
Rain_2021245488的博客
08-09 381
前面搭建好了Spark on YARN环境，接下来自然要使用这个集群，发挥它的计算性能。和模式。简单来讲，Cluster模式适用于生产环境，稳定性高，通讯效率高，但日志查看不方便；Client模式的日志输出在客户端，查看方便，但其稳定性受客户端进程影响，不适于生产环境。本篇将演示两种运行模式提交程序的过程。
Spark运行模式
m0_69822077的博客
06-17 917
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。为了防止出错，建议此处将该选项配置上。
Spark-spark on Yarn 两种运行模式
文文x的博客
06-08 215
1.Client模式 客户端直接显示结果 2.Cluster模式-[开发推荐使用] 客户端不显示结果
Spark on yarn 的两种模式
chengujun7940的博客
01-10 259
1、两种模式的区别 cluster模式：Driver程序在YARN中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如HDFS、Redis、Mysql）而非stdout输出的应用程序，客户端的终端显示的仅是作为YARN的job的简单运行状况。 clien...
Spark on YARN的两种模式：YARN-Client，YARN-Cluster
weixin_44870066的博客
06-20 2419
Spark on YARN模式根据Driver在集群中的位置分为两种模式： YARN-Client模式； YARN-Cluster（或称为YARN-Standalone模式） 一、【YARN-client】 Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于我们选择的是Yarn-Client模式，程序会选择YarnClientClu
Spark On Yarn的两种模式解析
crazybean_lwb的博客
05-24 733
使用yarn能对spark的运行资源调动进行动态划分，spark on yarn有yarn-client和yarn-cluster两种模式。这两种模式的作业虽然都运行在yarn上，但是运行方式不一样；下面解析一下这两种模式下提交作业到运行的全过程。 运行中涉及到的名词 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 Driver: Spark中的Driver即运行上述Applicatio
Spark运行模式——Spark On YARN模式
m0_70276855的博客
06-22 333
​
Spark on Yarn 的两种模式的区别
禧年
03-14 787
前言：面试官说有个小小的区别你知道么？ 面试问到你们这个spark是什么模式的? 答：Spark on yarn spark on yarn cluster 模式 ResourceManger 分配资源 ApplicationMaster (AM)通信 NodeManager NodeManger 开辟 Container，Container进行 executor执行job。同时资源情况以及...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
pillow-10.4.0-cp312-cp312-musllinux_1_2_aarch64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
生产管理体系设计全案.pptx
07-27
生产管理体系设计全案.pptx
软件管理器的开发-代码-AppExplorer-0.4.zip
最新发布
07-27
软件管理器的开发_代码_AppExplorer_0.4.zip
[毕设]一体化学生选课平台设计与实现.zip
07-27
[毕设]一体化学生选课平台设计与实现
spark on yarn 的两种处理模式的区别
07-11
Spark on YARN有两种处理模式，分别是Client模式和Cluster模式。 1. Client模式： 在Client模式下，Spark应用程序的驱动程序运行在提交应用程序的客户端机器上。客户端向YARN ResourceManager提交应用程序，并且将应用程序的JAR包和依赖文件分发到集群的NodeManager上。然后，驱动程序启动一个SparkContext来与集群通信，并在集群上分配和管理任务。这种模式下，驱动程序负责监控应用程序的执行过程和收集结果。 优点： - 可以方便地在客户端机器上查看应用程序的日志和输出结果。 - 对于开发和调试应用程序来说比较方便，可以快速获取反馈。 缺点： - 如果客户端机器断开连接或关闭，驱动程序也会停止运行。 - 客户端机器的资源会被使用来运行驱动程序，可能会影响到其他任务的执行。 2. Cluster模式： 在Cluster模式下，Spark应用程序的驱动程序运行在YARN集群中的某个节点上。客户端只需要向YARN ResourceManager提交应用程序，并将应用程序的JAR包和依赖文件分发到集群的NodeManager上。然后，驱动程序在集群中的某个节点上启动一个SparkContext来与集群通信，并在集群上分配和管理任务。这种模式下，驱动程序不受客户端机器断开连接的影响。 优点： - 驱动程序运行在集群中，不会受到客户端机器的限制。 - 可以更好地利用集群资源，提高任务的并行度和整体执行性能。 缺点： - 对于开发和调试应用程序来说相对麻烦，需要通过查看集群日志来获取反馈。 - 不方便查看应用程序的日志和输出结果，需要通过其他方式获取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值