Yarn运行原理
简单描述yarn运行原理
- 用户向客户端ResourceManager提交一个作业,同是指定提交到哪个队列和需要多少资源;通过读取计算引擎(如hadoop、spark)的设置参数,如果没有则默认
- ResourceManager在收到请求之后,会根据哪个队列和资源量大小,选取一个NodeManager,通知它启动一个特殊的container–ApplicationMaster,后面的流程交由它处理
- ApplicationMaster向ResourceManager注册或,根据自己的需求,申请多少个container(进程),资源量,所在位置等因素;
- 如果ResourceManager判断资源足量,RM,由ApplicationMaster通知NodeManager启动container;
- container启动后执行具体的任务,NodeManager监控任务执行情况,如果container超过其使用的内存,会将其杀死;
- container向ApplicationMaster报告自己的运行情况,完成就由ApplicationMaster申请注销;
详细讲述yarn运行原理
Yarn详细图解:
- yarnrunner将作业提交到ResourceManager(简称RM)上