hmyqwe的博客

Spark 应用程序提交到 Yarn 环境中执行的时候，一般会有两种部署执行的方式：Client 和 Cluster。 两种模式主要区别在于：Driver 程序的运行节点位置。 Yarn Cluster 模式：Cluster 模式将用于监控和调度的 Driver 模块启动在 Yarn 集群资源中执行，一般用于实际生产环境。 （1）任务提交后 Client 会和 ResourceManager 通讯申请启动 ApplicationMaster； （2）ResourceManage r分配 Container

YARN 工作机制 （1）MR 程序提交到客户端所在的节点； （2）YarnRunner 向 ResourceManager 申请一个 Application； （3）ResourceManager 将该应用程序的资源路径返回给 YarnRunner； （4）该程序将运行所需资源提交到 HDFS 上； （5）程序资源提交完毕后，申请运行 MRAppMaster； （6）ResourceManager 将用户的请求初始化成一个 Task； （7）其中一个 NodeManager 领取到 Task 任务； （.