spark on yarn 的client模式跟cluster模式的区别

Song_zi_wei

已于 2022-07-25 20:17:42 修改

阅读量574

点赞数

文章标签： spark 大数据 python

于 2022-07-25 20:12:27 首次发布

本文链接：https://blog.csdn.net/Song_zi_wei/article/details/125982451

版权

YARN中，ApplicationMaster管理Application的生命周期。yarn-cluster模式下，Driver在AM中运行，适合生产环境，结果存储在HDFS；yarn-client模式适用于交互和调试，ApplicationMaster仅请求executor，客户端与container通信，适合快速查看输出。提交job后，client可以关闭，作业在YARN上持续运行。

摘要由CSDN通过智能技术生成

yarn cluster和yarn client模式区别——yarn-cluster适用于生产环境，结果存HDFS；

yarn-client适用于交互和调试，也就是希望快速地看到application的输出

从广义上讲，yarn-cluster适用于生产环境；而yarn-client适用于交互和调试，也就是希望快速地看到application的输出。

　　在我们介绍yarn-cluster和yarn-client的深层次的区别之前，我们先明白一个概念：Application Master。在YARN中，每个Application实例都有一个Application Master进程，它是Application启动的第一个容器。它负责和ResourceManager打交道，并请求资源。获取资源之后告诉NodeManager为其启动container。
　　从深层次的含义讲，yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别，yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。而yarn-client模式下，Application Master仅仅向YARN请求executor，client会和请求的container通信来调度他们工作，也就是说Client不能离开。