Spark在Yarn上的两种模式YarnClient和YarnCluster

万里长江横渡

已于 2022-10-18 18:49:32 修改

阅读量980

点赞数 1

分类专栏：大数据文章标签： spark 大数据分布式

于 2022-10-18 14:10:10 首次发布

本文链接：https://blog.csdn.net/weixin_44870066/article/details/127387432

版权

大数据专栏收录该内容

38 篇文章 3 订阅

订阅专栏

一、YarnClient模式
Client 模式将用于监控和调度的 Driver 模块在客户端执行，而不是在 Yarn 中，所以一
般用于测试。
➢ Driver 在任务提交的本地机器上运行
➢ Driver 启动后会和 ResourceManager 通讯申请启动 ApplicationMaster
➢ ResourceManager 分配 container，在合适的 NodeManager 上启动 ApplicationMaster，负责向 ResourceManager 申请 Executor 内存
➢ ResourceManager 接到 ApplicationMaster 的资源申请后会分配 container，然后ApplicationMaster 在资源分配指定的 NodeManager 上启动 Executor 进程
➢ Executor 进程启动后会向 Driver 反向注册，Executor 全部注册完成后 Driver 开始执行main 函数
➢ 之后执行到 Action 算子时，触发一个 Job，并根据宽依赖开始划分 stage，每个 stage 生成对应的 TaskSet，之后将 task 分发到各个 Executor 上执行。在这里插入图片描述
二、YarnCluster模式
Cluster 模式将用于监控和调度的 Driver 模块启动在 Yarn 集群资源中执行。一般应用于实际生产环境。
➢ 在 YARN Cluster 模式下，任务提交后会和 ResourceManager 通讯申请启动ApplicationMaster，
➢ 随后 ResourceManager 分配 container，在合适的 NodeManager 上启动 ApplicationMaster，此时的 ApplicationMaster 就是 Driver。
➢ Driver 启动后向 ResourceManager 申请 Executor 内存，ResourceManager 接到ApplicationMaster 的资源申请后会分配 container，然后在合适的NodeManager 上启动Executor 进程
➢ Executor 进程启动后会向 Driver 反向注册，Executor 全部注册完成后 Driver 开始执行main 函数，
➢ 之后执行到 Action 算子时，触发一个 Job，并根据宽依赖开始划分 stage，每个 stage 生成对应的 TaskSet，之后将 task 分发到各个 Executor 上执行。
在这里插入图片描述
三总结对比
两种模式最本质的区别在于Driver驱动程序实在集群还是在本地电脑上，client模式由于driver在本地，所以可以在本地控制台输出查看，但是通信成本较高。cluster模式由于Driver是在集群中，通信成本低，但是运行结果只能以日志形式输出到集群的日志文件中。