YARN工作机制
1.用户使用客户端向 RM 提交一个任务,同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置,如果没有特别指定,则使用默认设置。
2.RM 在收到任务提交的请求后,先根据资源和队列是否满足要求选择一个NM,通知它启启动一个特殊的 container,称为 ApplicationMaster(AM),后续流程由它发起。
3.AM 向 RM 注册后根据自己任务的需要,向 RM 申请 container,包括数量、所需资源量 所在位置等因素。
4.如果队列有足够资源,RM 会将container 分配给有足够剩余资源的 NM,由 AM 通知 N M 启动 container。
5.container 启动后执行具体的任务,处理分给自己的数据。NM 除了负责启动 container,还负责监控它的资源使用状况以及是否失败退出等工作,如果 container 实际使用的内存超过申请时指定的内存,会将其杀死,保证其他 container 能正常运行。
6.各个 container 向 AM 汇报自己的进度,都完成后,AM 向 RM 注销任务并退出,RM 通知 NM 杀死对应的 container,任务结束。