yarn原理 (学习笔记)

Yarn简介

YARN (Yet Another Resouce Negotiator) :另外一个资源管理器
为啥要搞这个玩意，其实是有原因的。 并不是开发者太闲了。
主要解决hadoop 1.0 中mapreduce的问题
1. 存在单点故障
2. JobTracker“大包大揽”导致任务过重（任务多时内存开销大，上限4000节点）
3. 容易出现内存溢出（分配资源只考虑MapReduce任务数，不考虑CPU、内存）
4. 资源划分不合理（强制划分为slot ，包括Map slot和Reduce slot）

mapreduce1.0到 yarn

yarn运行机制

资源管理器(resource manager): 管理集群上资源的使用
* 处理客户端请求
* 启动和监控application master
* 监控 Nodemanager
* 资源分配和调度

包含两大组件调度器(scheduler)和 应用程序管理器(applications manager)
调度器： 这个玩意应该是资源调度器
* FIFO 调度器 默认，先进先出的原则
* 容量调度器 计算能力调度器，选择占用最小、优先级高的先执行，依此类推
* 公平调度器 公平调度，所有的job具有相同的资源。

应用程序管理器：(applications manager)：
监控启动application master

节点管理器(node manager)： 启动和监控容器(container)
每个节点资源管理的代理，只处理抽象容器
* 容器生命周期管理
* 向resource manager汇报状态
* 处理来自resource manager的命令
* 处理来自application master的命令

容器(container)： 可以是一个unix进程，也可以是一个linux cgroup

application master： 任务调度 任务监控 (大管家) 向resourcemanager发心跳
* 为应用程序申请资源，并分配给内部任务(二次分配)
* 任务调度、监控与容错

应用程序是以作业的形式提交给hadoop系统的 然后被分解为map任务和reduce任务

与其他hadoop的统一部署

参考于: http://www.icourse163.org/learn/XMU-1002335004?tid=1002458005#/learn/content?type=detail&id=1003312450&sm=1