spark学习-62-Spark:Yarn-cluster和Yarn-client区别与联系

最新推荐文章于 2024-04-11 19:53:34 发布

九师兄

最新推荐文章于 2024-04-11 19:53:34 发布

阅读量1.2k

点赞数

分类专栏：大数据-spark 文章标签： spark yarn cilent 调试

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78864753

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了Spark在YARN上运行的两种模式——yarn-cluster和yarn-client，强调了它们的区别和联系。yarn-cluster适合生产环境，driver运行在Application Master中，而yarn-client适用于交互和调试，driver运行在客户端。文章还提供了在两种模式下提交和调试程序的方法。

摘要由CSDN通过智能技术生成

在这里插入图片描述

前面借用：https://www.iteblog.com/archives/1223.html

我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。
　　
　　Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管理。Spark支持的三种集群模式，这三种集群模式都由两个组件组成:master和slave。Master服务(YARN ResourceManager,Mesos master和Spark standalone master)决定哪些application可以运行，什么时候运行以及哪里去运行。而slave服务( YARN NodeManager, Mesos slave和Spark standalone slave)实际上运行executor进程。

当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器(container)运行。Spark可以使得多个Tasks在同一个容器(container)里面运行。这是个很大的优点。

了解本专栏