Yarn-cluster 与 Yarn-client的区别

最新推荐文章于 2024-04-11 19:53:34 发布

小飞云

最新推荐文章于 2024-04-11 19:53:34 发布

阅读量857

点赞数

分类专栏： Hadoop Yarn

本文链接：https://blog.csdn.net/matthewhou/article/details/73797291

版权

Hadoop 同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

Yarn

2 篇文章 0 订阅

订阅专栏

总结性地说，Yarn-cluster模式提交作业后，可关掉client，适合生产环境；Yarn-client适合交互式的，开发环境。

本质上，对Spark on Yarn集群，是Spark Driver在哪里运行、谁进行调度的区别。

Yarn-cluster模式，Spark Driver运行在Application Master所在的机器上，因此该机器一定是集群中某个节点；Application Master所在的executor是应用程序提交后向Resource Manager申请的第一个Executor中，之后的资源申请都是通过Application Master向RM申请。

Yarn-client模式，Spark Driver运行在Client所在的机器，AM启动后负责程序运行过程中向RM申请需要的资源（Executor），进程之间的调度、通信是Driver程序和NM之间，AM不参与。

参考链接：

https://www.iteblog.com/archives/1223.html

http://www.cnblogs.com/MOBIN/p/5857314.html