深入理解Yarn工作机制

深入理解Yarn工作机制

2020年11月5日

21:10

 

 

在YARN架构中，描述过Yarn的架构。从工作流程考虑可以帧转理解整个架构。

 

1. Application申请
   • Mr程序向RM申请Application，同时返回临时提交路径
   • Mr程序将Jar包，切分信息提交到临时路径
   • 申请运行Application
2. AppMaster启用
   • MR任务提交到MR的队列中
   • 空闲NM向MR领取任务，创建容器，运行AppMaster下载job资源到本地
   • 然后向RM申请运行MRtask
3. Map
   • MRtask被加入到队列中
   • NM领取MRtask，创建容器
   • AppMaster向MRtask发送程序，启动脚本
4. Reduce
   • AppMaster向RM申请Reducer的容器
   • Reduce向Map获取分区数据，运行