Yarn的job提交流程(大数据面试高频七)

东南枝上的大雄

已于 2022-10-08 14:53:23 修改

阅读量445

点赞数

分类专栏： Hadoop 文章标签：大数据面试 yarn

于 2022-10-06 16:25:55 首次发布

本文链接：https://blog.csdn.net/weixin_67766119/article/details/127184440

版权

本文详细阐述了YARN环境中MapReduce作业的提交过程，包括作业提交、初始化、任务分配、任务运行、进度状态更新及作业完成六个阶段。在作业提交阶段，Client向ResourceManager(RM)申请作业id和资源路径，然后提交资源。接着，RM将作业分配给NodeManager，初始化Job并生成任务。任务分配阶段，MrAppMaster向RM申请MapTask和ReduceTask资源。任务运行期间，MapTask和ReduceTask执行数据处理。最后，客户端通过waitForCompletion方法监控作业进度直至完成。

摘要由CSDN通过智能技术生成

job提交流程解读

1、作业提交

（1）Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
（2）Client向RM申请一个作业id。
（3）RM给Client返回该job资源的提交路径和作业id。
（4）Client提交jar包、切片信息和配置文件到指定的资源提交路径。
（5）Client提交完资源后，向RM申请运行MrAppMaster。