YARN是分布式操作系统，负责资源管理和任务调度。它包括ResourceManager、NodeManager、ApplicationMaster和Container四个组件。ResourceManager负责接收客户端请求，监控NodeManager，启动或监控ApplicationMaster。NodeManager管理节点资源，ApplicationMaster负责申请资源并监控任务。Container是资源分配的基本单位。YARN调度器有FIFO、容量和公平三种策略，生产环境中通常使用容量调度器或公平调度器。YARN提供多种命令用于任务管理及资源配置。
什么是yarn
相当于分布式OS，MR程序相当于操作系统的程序
分类
ResourceManager
- 处理客户端请求，负责接客
- 监控nodemanager
- 启动或监控applicationmanager
- 资源的分配与调度
NodeManager
- 管理单个节点上的资源
- 处理来自ResourceManager的命令
- 处理来自ApplicationMaster的命令
ApplicationMaster
- 作业的老大
- 为应用程序申请资源
- 任务的监控和容错，比如maptask和reducetask监控
Container
- 节点上的容器
- 一个节点上可以有多个容器
yarn工作机制
- 客户端提交任务到ResourceManager，RM让客户端job放到HDFS指定路径上
- RM中产生一个任务，放到一个FIFO队列
- 当有了空闲nodeManager后，就领走任务，创建一个容器
- 容器里中有个对应的ApplicationMaster，
最低0.47元/天 解锁文章
6166
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
