YARN工作机制主要包括ResourceManager、NodeManager和Application Master。ResourceManager负责作业管理与调度，NodeManager监控节点资源，Application Master管理作业任务。作业提交流程为：Client提交作业给ResourceManager，ResourceManager分配container，启动Application Master，Application Master向ResourceManager注册并申请资源，最后由NodeManager执行任务。
ResourceManager：
它是master上的进程，负责管理和调度。处理来自client的提交作业/杀死作业的请求；
启动/监控Application Master；监控NodeManager。
NodeManager：
他负责当前slave节点的资源管理和调度，task的运行。
他会向ResourceManager回报资源/Container的情况；
接受来自ResourceManager对于Container的启停命令。
Application Master：
每一个提交的作业都会有一个对应的Application Master来负责管理。
他负责进行切分；向ResourceManager去申请资源，并分配任务&
408
4880
1743
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
