Yarn 概念

Yarn 架构

1、mr v1 的缺陷：
扩展性受限
单点故障
难以支持mr之外的计算
多计算框架各自为战，数据共享困难
-mr:离线计算框架
-storm：实时计算框架
-spark：内存计算框架

hadoop 1 hadoop2：
hadoop 2.0 分支：
hdfs： nn federation。ha
mr：运行在 yarn 上的mr
yarn：资源调度

2、resourcemananger
-处理客户端请求
-启动 applicationMaster
-启动nodemanager
-资源分配与调度
nodemanager
–单个节点上的资源
–处理来自resourcemanager 的命令
–处理来自applicationMaster的命令
appmaster：
–数据切分
–为应用何曾需申请资源，并分配给内部任务
–任务监控与容错
3、容错：
–resourcemanager
–存在单点故障
–2.x 基于zookeeper 实现 ha
–nodemanager
–任务失败，rm 将失败任务告诉给am
–am 决定 如何处理失败任务
appmaster：
–失败后，由 rm 负责重启，am 需要处理内部 任务的容错问题
4、调度：
双层调度框架
rm 将资源分配给am
am 将资源进一步分配给各个task
基于子预案预留的调度策略
资源不够时，回味task 预留，知道资源充足
与 ‘’‘all or nothing’ 策略不同（apache messos）
多类型资源调度
–采用DRF 算法
–目前支持CPU 和内存两种资源
提供多种资源调度器
–FIFO：任务先进先出（时间，名称等先后）
–fair scheduler ： 公平调度 器
–容量调度器
–支持资源按比例分匹配
–支持层级队列划分
–支持资源抢占
5、隔离方案：
–支持内存和cpu 两种资源隔离
–内存隔离
基于线程监控的方案
基于cgroup 的方案
–CPU 隔离
默认不隔离
6、支持的语义：
–请求某个特定节点或机架上的特定资源
–将某些节点加入黑名单，不再为自己分配这些节点上的资源
–请求会换某些资源
不支持的语义：
请求任意节点或机架上的特定资源
超细粒资源
7、运行在yarn 上的框架：mr、（DAG计算框架）tez、storm、spark

8、参考官网配置yran HA
配置 resourcemanager restart
配置nodemanager restart