《Hadoop权威指南》学习笔记(四)

1 Yarn的MapReduce工作流程

经典的MapReduce顶层包括5个独立实体 

  • 客户端,提交MapReduce作业
  • YARN资源管理器,协调集群上计算资源分配
  • YARN节点管理器,负责启动和监视集群中的container
  • MapReduce应用程序master,协调运行中的作业任务
  • 分布式文件系统(一般为HDFS),与其他实体间共享作业文件

提交作业的步骤,一张图就可以了,照着书上画的,加了一些解释,红色框表示节点

第7个步骤之后,如果该任务很小,master则会决定在当前节点运行这个任务,称为uber任务

任务会向master进程汇报当前任务进程,而客户端会以给定时间间隔从master查询作业状态

 2 Yarn失败

 Yarn中的失败包括:

  • 任务运行失败
  • master
  • 节点管理器
  • 资源管理器

2.1 任务运行失败

master进程会注意到任务失败并尝试再次启动任务,最大尝试次数由mapreduce.map.maxattemps设定。如果作业失败次数超过mapreduce.map.failures.maxpercent或者mapreduce.reduce.failures.maxpercent,就判定作业失败

2.2 master运行失败

yarn.resourcemanager.am.max-retries设置允许master失败的次数,默认为1次

master向资源管理器发送心跳,master失败后资源管理器在一个新容器总启动master。如果设置了yarn.app.mapreduce.am.job.recovery.enable为true,master可以恢复之前运行的任务状态

客户端会缓存master的地址,如果请求超时会向资源管理器请求新的master地址

2.3 节点管理器运行失败

节点管理器也会向资源管理器发送心跳,yarn.resourcemanager.nm.liveness-monitor.expiry-interval-ms决定资源管理器认为节点管理器失败的等待时间

如果应用程序的运行失败次数过高,节点管理器可能被master拉黑,mapreduce.job.maxtaskfailures.per.tracker设置拉黑阈值

2.4 资源管理器运行失败

那就歇菜了(大误)

管理员启动一个新的资源管理器,并恢复保存的状态,资源管理器只保存节点管理器和master,任务由master管理,这样有助于降低资源管理器的压力

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值