MapReduce架构 （面试题）

MR JOB提交到Yarn的工作流程Yarn的架构设计Yarn的工作流程

1.用户向Yarn的RM提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMaster命令等
2.RM首先为该app程序分配第一个container容器，并与对应的NM通信，要求NM在这个Container中启动应用程序的application master
3.App master首先向Apps manager注册，这样的话，我们就可以通过web 8088，查看应用程序的运行状态，且监控它的运行状态
4.ApplicationMaster向Resource Scheduler申请和领取资源
5.一旦ApplicationMaster申请到资源后，便与对应的NM通信，要求它启动任务
6.NM节点启动container容器，运行task任务
7.各个容器的任务，通过rpc向app master汇报自己的状态和进度，以让APP master随时掌握各个任务的运行状态，从而在任务失败时 重启任务。那么用户可以通过web界面实时查看应用的当前运行状态
8.app运行完成后，app master向 apps manager注销并关闭

当用户向Yarn中提交一个应用程序，分为2阶段:
1.启动app master 1,2
2.app master申请资源 运行任务 结束任务3-8

*shuffle（什么是shuffle)