本文详细介绍了Yarn的基础架构，包括ResourceManager、NodeManager、AppMaster和Container的角色与功能。接着，阐述了任务在Yarn上执行的完整流程。最后，讨论了Yarn的三种调度器——FIFO Scheduler、Capacity Scheduler和Fair Scheduler，分析它们的工作原理和应用场景。
1. Yarn的基础架构
Yarn是一个主从架构
主节点：ResourceManager
从节点：NodeManager
（2）ResourceManager功能
1)接受客户端发起的任务,并将该任务交给NodeManager去执行
2)划分整个集群的计算资源
（3）NodeManager
1)真正的去执行计算任务
2)真正的资源的提供者（内存和CPU）
3)NodeManager会定时向ResourceManager汇报资源使用情况，并保持心跳
（4）AppMaster（Application Master）
1)每启动一个任务job，就会启动一个该任务的管理者AppMaster，有多少个任务就会有多少个AppMaster
2)AppMaster负责整个任务从提交到结束整个的过程
（5）Container
1)Container可以理解为一个抽象的资源容器，是资源分配的单位，本质上是Java类对象
2)Container内部包含的计算资源
Container {node1:2G-2vcore,node2:4G:4vcore}
3)Container本身没有资源，它只是告诉Job，去哪里要多少资源
2. 任务在Yarn上的执行流程
client向RM提交应用程序，其中包括启动该应
最低0.47元/天 解锁文章
扫一扫
463
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
