Spark on Yarn的运行流程，以及两种模式的对比

最新推荐文章于 2024-08-14 16:26:58 发布
最新推荐文章于 2024-08-14 16:26:58 发布
阅读量4.8k 收藏 24
点赞数 8
分类专栏： spark 文章标签： spark yarn 大树据 spark on yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012137473/article/details/86377677
版权
本文详细解析了Spark在YARN上的运行流程，对比了'yarn-cluster'和'yarn-client'两种模式的区别。在'yarn-cluster'模式中，Driver运行于集群内部，适合生产环境；而在'yarn-client'模式下，Driver运行于客户端，适用于交互和调试。理解这些差异对于优化Spark应用的部署至关重要。
摘要由CSDN通过智能技术生成

Spark on Yarn的运行流程，以及两种模式的对比

Yarn组件简介

  1. ResourceManager：负责整个集群的资源管理和资源分配
  2. NodeManager：每个节点的资源和任务的管理器，负责启动和停止Container，并监视资源使用情况
  3. ApplicationMaster：Yarn中每个Application对应一个AM进程，获取资源后告诉NodeManager为其分配并启动Container
  4. Container：Yarn中的抽象资源

Spark组件

Spark中的组件就不介绍了如果不了解可以参考spark运行原理及各个组件

SPARK ON YARN

  • yarn-cluster模式
    在这里插入图片描述
  1. 在RM接受到申请后在集群中选择一个NM分配Container，并在Container中启动ApplicationMaster进程
  2. 在ApplicationMaster中初始化SparkContext
  3. ApplicationMaster向RM申请到Container后通知NodeManager在获得的Container中启动Executor进程
  4. sparkContext分配Task给Executor，Executor发送运行状态给Driver
  • yarn-client模式
最低0.47元/天 解锁文章
duke.8747
关注
专栏目录
大数据Spark（九）：Spark On Yarn两种模式总结
Lansonli（蓝深李）的博客
04-11 1070
Spark On Yarn两种模式 引入 一、当一个MR应用提交运行到Hadoop YARN上时 包含两个部分：应用管理者AppMaster和运行应用进程Process（如MapReduce程序MapTask和ReduceTask任务），如下图所示： 二、当一个Spark应用提交运行在集群上时 应用架构有两部分组成：Driver Program（资源申请和调度Job执行）和Executors（运行Job中Task任务和缓存数据），都是JVM Process进程： 而Drive..
sparkOnYarn基础流程
github_28583061的博客
06-01 623
在yarn上运行的基本操作 程序提交的服务器需要包含HADOOP_CONF_DIR 或者 YARN_CONF_DIR环境变量，指向包含hadoop集群配置的文件目录 因为程序提交时，不会指定 与 HDFS , YARN resourceMamager交互的地址和端口，是从服务器环境变量找到对于的配置文件去读取相应的配置 spark on yarn的两种运行方式： cluster 模...
Spark on Yarn模式下执行过程
多头注意力探索Now
04-28 1432
spark on yarn执行过程
【Spark集群部署系列四】Spark on YARN介绍和环境部署(个人笔记，供参考)
最新发布
qq_65231448的博客
08-14 1024
通常如果我们想要一个稳定的生产Spark环境, 那么最优的选择就是构建:HA StandAlone集群.。不过在企业中, 服务器的资源总是紧张的, 许多企业不管做什么业务,都基本上会有Hadoop集群. 也就是会有YARN集群。对于企业来说,在已有YARN集群的前提下在单独准备Spark StandAlone集群,对. 所以, 在企业中,多 数场景下,会将集群中。YARN本身是一个资源调度框架, 负责对运行在内部的计算框架进行资源调度管理。
描述spark on Yarn 执行一个任务的过程
weixin_59295776的博客
12-21 236
1）客户端client向ResouceManager提交Application，ResouceManager接受Application并根据集群资源状况选取一个node来启动Application的任务调度器driver（ApplicationMaster） 2）ResouceManager找到那个node，命令其该node上的nodeManager来启动一个新的JVM进程运行程序的driver（ApplicationMaster）部分，driver（ApplicationMaster）启动时会首先向 Re
spark on yarn 运行流程
weixin_40319752的博客
08-05 7294
一、driver 运行在集群中（cluster模式） 1、client 向 yarn 提交一个job 2、ResouceManager 为该job在某个 NodeManager 上分配一个 ApplicationMaster，NM启动AppMaster，Appmaster 启动 driver 3、ApplicationMaster 启动后完成初始化作业，driver 生成一系列task 4...
spark on yarn 执行过程介绍
lovemelovemycode的专栏
02-02 1674
执行语句： sudo spark-submit --master yarn--driver-memory 7G --executor-memory 5G --executor-cores 24 --num-executors 4--class spark.init.InitSpark /home/hxf/gogo.jar>/home/hxf/dddd.txt2>&1; 执行过程：
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
Spark环境搭建——on yarn集群模式
01-07
文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 安装启动Hadoop(需要使用HDFS和YARN，已经ok) 安装单机版Spark(已经ok...
Spark On Yarn的两种运行模式
小叮当的博客
11-07 2197
spark on yarn两种部署方式
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 5785
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
Spark On Yarn的执行流程及应用场景
小黑的博客
04-02 828
一、driver 运行在集群中（cluster模式） 1、client 向 yarn 提交一个job 2、ResouceManager 为该job在某个 NodeManager 上分配一个 ApplicationMaster，NM启动AppMaster，Appmaster 启动 driver 3、ApplicationMaster 启动后完成初始化作业，driver 生成一系列task 4、AM ...
spark&yarn两种运行模式(1)
moonbis的博客
03-13 2391
spark在yarn上的运行模式（cluster模式和client模式） 1.cluster模式 官网案例计算PI spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory...
Spark on yarn 的两种模式
chengujun7940的博客
01-10 269
1、两种模式的区别 cluster模式：Driver程序在YARN中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如HDFS、Redis、Mysql）而非stdout输出的应用程序，客户端的终端显示的仅是作为YARN的job的简单运行状况。 clien...
spark-onyarn配置和执行流程
qq_39300291的博客
01-15 462
spark-onyarn配置 1 配置hadoop 需要在/etc/profile中配置HADOOP_CONF_DIR的目录，目的是为了让Spark找到core-site.xml、hdfs-site.xml和yarn-site.xml【让spark知道NameNode、ResourceManager】，不然会报如下错误：Exception in thread “main” java.lang.Exception: When running with master ‘yarn’ either HADOOP_
Spark on Yarn解密及运行流程
囧芝麻的博客
06-03 1267
一、Hadoop Yarn解析1，Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce、Storm等； 2，Yarn基本工作流程如下图所示： 注意：Container要向NodeManager汇报资源信息，Container（程序员）要向App Mstr（项目经理
spark on yarn 作业执行流程
dymkkj的专栏
03-30 730
spark application会有几个job,取决于调用了几次DAGScheduler. 如果是spark SQL则取决相应的实现,会存在job group 的情况(多个job) RDD一般是一个action有一个job,如果take，sample。另外checkpoint也触发一个job. Spark client模式下，所有的jar和资源都是和driver在一起，不会出现jar丢失的情况，spark可以从hdfs上读取 spark cluster模式下，会出现无法找到jar...
Spark on YARN的两种模式
mcdull213的博客
05-03 339
目录 前言 一、Client模式 二、Cluster模式 三、两种模式对比 需要在环境变量里设置HADOOP_CONF_DIR或YARN_CONF_DIR，告诉Spark如何连接Hadoop 一、Client模式 spark-submit \ --class com.wsd.sparkcore.scala.SparkWCListenerV2 \ --master yarn \ --...
spark on yarn 的两种处理模式的区别
07-11
Spark on YARN有两种处理模式，分别是Client模式和Cluster模式。 1. Client模式： 在Client模式下，Spark应用程序的驱动程序运行在提交应用程序的客户端机器上。客户端向YARN ResourceManager提交应用程序，并且将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值