Spark on Yarn的运行流程,以及两种模式的对比

本文详细解析了Spark在YARN上的运行流程,对比了'yarn-cluster'和'yarn-client'两种模式的区别。在'yarn-cluster'模式中,Driver运行于集群内部,适合生产环境;而在'yarn-client'模式下,Driver运行于客户端,适用于交互和调试。理解这些差异对于优化Spark应用的部署至关重要。
摘要由CSDN通过智能技术生成

Spark on Yarn的运行流程,以及两种模式的对比

Yarn组件简介

  1. ResourceManager:负责整个集群的资源管理和资源分配
  2. NodeManager:每个节点的资源和任务的管理器,负责启动和停止Container,并监视资源使用情况
  3. ApplicationMaster:Yarn中每个Application对应一个AM进程,获取资源后告诉NodeManager为其分配并启动Container
  4. Container:Yarn中的抽象资源

Spark组件

Spark中的组件就不介绍了如果不了解可以参考spark运行原理及各个组件

SPARK ON YARN

  • yarn-cluster模式
    在这里插入图片描述
  1. 在RM接受到申请后在集群中选择一个NM分配Container,并在Container中启动ApplicationMaster进程
  2. 在ApplicationMaster中初始化SparkContext
  3. ApplicationMaster向RM申请到Container后通知NodeManager在获得的Container中启动Executor进程
  4. sparkContext分配Task给Executor,Executor发送运行状态给Driver
  • yarn-client模式
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值