Yarn运行原理

简单描述yarn运行原理

1. 用户向客户端ResourceManager提交一个作业，同是指定提交到哪个队列和需要多少资源；通过读取计算引擎(如hadoop、spark)的设置参数，如果没有则默认
2. ResourceManager在收到请求之后，会根据哪个队列和资源量大小，选取一个NodeManager，通知它启动一个特殊的container–ApplicationMaster,后面的流程交由它处理
3. ApplicationMaster向ResourceManager注册或，根据自己的需求，申请多少个container（进程）,资源量，所在位置等因素;
4. 如果ResourceManager判断资源足量,RM，由ApplicationMaster通知NodeManager启动container;
5. container启动后执行具体的任务，NodeManager监控任务执行情况，如果container超过其使用的内存，会将其杀死；
6. container向ApplicationMaster报告自己的运行情况，完成就由ApplicationMaster申请注销；

详细讲述yarn运行原理

Yarn详细图解：

1. yarnrunner将作业提交到ResourceManager(简称RM)上