大数据Spark（九）：Spark On Yarn两种模式总结

已于 2023-02-28 17:34:46 修改
阅读量1k 收藏 2
点赞数 4
分类专栏： 大数据入门核心技术 # Spark 文章标签： SparkOnYarn两种模式
于 2021-04-11 00:46:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/115587367
版权
大数据入门核心技术 同时被 2 个专栏收录
264 篇文章 312 订阅 ¥49.90 ¥99.00
订阅专栏
Spark
62 篇文章 62 订阅
订阅专栏
本文详细介绍了Spark在Yarn上的两种运行模式：Client模式和Cluster模式。Client模式适用于学习测试，Driver运行在提交应用的客户端；Cluster模式适用于生产环境，Driver在集群内部运行，提供更低的通信成本和更好的容错性。
摘要由CSDN通过智能技术生成

文章目录

Spark On Yarn两种模式

引入

一、当一个MR应用提交运行到Hadoop YARN上时

二、当一个Spark应用提交运行在集群上时

注意

client 模式

cluster 模式

总结

Client模式：学习测试时使用，开发不用，了解即可

Cluster模式：生产环境中使用该模式

Spark On Yarn两种模式

引入

一、当一个MR应用提交运行到Hadoop YARN上时

包含两个部分：应用管理者AppMaster和运行应用进程Process（如MapReduce程序MapTask和ReduceTask任务），如下图所示：

了解本专栏 订阅专栏 解锁全文
Lansonli
关注
专栏目录
订阅专栏
大数据Spark框架 5：Spark On Yarn环境配置
Blue92120的博客
10-20 237
3- spark的18080日志服务器是依赖于 Yarn提供的job history日志服务器， 如果没有这个日志服务， 18080也无法查看到具体的日志。注意2: 读取的路径必须为HDFS， 如果是本地， 可能Yarn在运行的时候，无法找到对应的文件， 需要将所有的节点本地都得有这个文件。弊端: 由于Driver运行在集群里面， 导致我们无法直接看到运行的结果， 如果想要看到结果， 就必须查看运行的日志。注意：py脚本的路径写自己的路径， 不要复制我的路径。
Spark on Yarn
weixin_42163700的博客
06-20 267
Spark on Yarn 根据Driver 在集群中的位置分为两种模式，一种是Yarn-Client 模式，一种是 Yarn-Cluster模式（又称为standalone模式）Yarn-Client模式中，Driver在客户端本地运行，这种模式可以使得Spark Application和客户端进行交互，因为Driver在客户端，所以可以通过webUI访问Driver的状态，默认是http://...
spark on yarn 上的两种模式 client 和 cluster
sghuu的博客
12-16 475
比较详细比较全面：https://www.jianshu.com/p/0ee5e941a7cb
Spark运行模式——Spark On YARN模式
最新发布
m0_70276855的博客
06-22 361
​
Spark On Yarn的两种运行模式
小叮当的博客
11-07 2197
spark on yarn两种部署方式
Spark On Yarn的两种模式解析
crazybean_lwb的博客
05-24 743
使用yarn能对spark的运行资源调动进行动态划分，spark on yarn有yarn-client和yarn-cluster两种模式。这两种模式的作业虽然都运行在yarn上，但是运行方式不一样；下面解析一下这两种模式下提交作业到运行的全过程。 运行中涉及到的名词 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 Driver: Spark中的Driver即运行上述Applicatio
Spark on YARN的两种模式：YARN-Client，YARN-Cluster
weixin_44870066的博客
06-20 2473
Spark on YARN模式根据Driver在集群中的位置分为两种模式： YARN-Client模式； YARN-Cluster（或称为YARN-Standalone模式） 一、【YARN-client】 Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于我们选择的是Yarn-Client模式，程序会选择YarnClientClu
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 672
大数据-计算引擎：Spark安装与配置【Local模式】
【spark床头书系列】Spark YARN Cluster和Client两种不同提交模式区别：
wang2leee的博客
11-23 1028
YARN Cluster和Client两种不同提交模式详细区别
Spark On Yarn 的两种模式
Pluto_k的博客
12-05 452
在Spark StandLone模式中，一个 Worker 只能运行一个 Application 所属的一个 Executor，而不同的 Application 的 Executor 可以运行在一台 Worker 上。 Spark On Yarn 每个Executor作为YARN容器（container）运行，Spark可以使得多个Tasks在同一个容器（container）里运行。 Yarn可以自由选择Executor的数量。 Spark On Yarn Cluster Sp..
Spark on YARN的两种模式
mcdull213的博客
05-03 339
目录 前言 一、Client模式 二、Cluster模式 三、两种模式对比 需要在环境变量里设置HADOOP_CONF_DIR或YARN_CONF_DIR，告诉Spark如何连接Hadoop 一、Client模式 spark-submit \ --class com.wsd.sparkcore.scala.SparkWCListenerV2 \ --master yarn \ --...
Spark on yarn 的两种模式
chengujun7940的博客
01-10 269
1、两种模式的区别 cluster模式：Driver程序在YARN中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如HDFS、Redis、Mysql）而非stdout输出的应用程序，客户端的终端显示的仅是作为YARN的job的简单运行状况。 clien...
spark&yarn两种运行模式(2)
moonbis的博客
03-13 811
两种模式的原理: cluster模式： Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。具体过程： 由client向ResourceMa...
Spark on YARN的两种运行模式
weixin_30877755的博客
11-01 136
Spark on YARN有两种运行模式，如下 1、yarn-cluster:适合于生产环境。 Spark的Driver运行在ApplicationMaster中，它负责向YARN ResourceManager申请资源，并监督作业的运行状况。当用户提交了作业之后， 就可以关掉Client（启动Spark作业的客户端不需要一直存在于整个Spark作业运行生命周期），作业会...
Spark on yarn的两种模式详解(这个很重要哦)
LBJ_小松鼠的博客
01-13 2255
简介: 当一个Spark应用提交到集群上运行时,应用架构包含了两个部分 Driver Program（资源申请和调度Job执行） Executors（运行Job中Task任务和缓存数据），两个都是JVM Process进程 1: Driver程序运行的位置可以通过–deploy-mode 来指定: 明确: Driver指的是The process running the main() function of the application and creating the SparkContext 运
Spark on YARN 两种模式yarn-cluster yarn-client 面试题
qq_43688472的博客
12-25 638
Spark On YARN：目前很有前景的部署模式， 支持两种模式 1）yarn-cluster：适用于生产环境 2）yarn-client：适用于交互、调试、希望立即看到 app 的输出 Spark on yarn有分为两种模式yarn-cluster和yarn-client 一：两者的区别： yarn-client模式： 1）Application Master仅仅向YARN请求executo...
Spark on YARN两种运行模式介绍
weixin_30677073的博客
05-25 81
本文出自：Spark on YARN两种运行模式介绍http://www.aboutyun.com/thread-12294-1-1.html(出处: about云开发) 问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由client向ResourceManager提交请求，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值