yarn的工作流程
1、客户端向yarn提交job,jon里包含application master等程序,然后yarn会启动ApplicationsManager,让它来管理job
2、RM为该job分配第一个container,与对应的NM通信,,要求它在这个container启动作业的application master
3、ApplicationMaster会向ApplicationsManager注册,这样用户可以在页面上实时查看任务状态,一直到最后
4、application master采用轮询的方式通过RPC协议向resource scheduler申请和领取资源
5、在ApplicationMaster领取到资源后,会与对应的NM通信要求开启Task
6、NM为任务设置好运行环境后,将任务的启动命令写到一个脚本中,并通过该脚本启动并运行任务
7、各个Task通过RPC向ApplicationMaster汇报,以让application master随时掌握各个任务的运行状态,从而在任务失败时,重启启动任务
8、作业结束后,ApplicationMaster向ApplicationsManager注销并关闭自己
yarn架构设计
最新推荐文章于 2023-09-28 15:00:37 发布