如要了解hadoop的运行机制过程,
需要先了解几个概念:
mapreduce中概念:
1、首先用户程序(JobClient)提交了一个job,job的信息会发送到Job Tracker,
Job Tracker是Map-reduce框架的中心,他需要与集群中的机器定时通信heartbeat,需要管理哪些程序应该跑在哪些机器上,需要管理所有job失败、重启等操作。
2、TaskTracker是Map-Reduce集群中每台机器都有的一个部分,他做的事情主要是
监视自己所在机器的资源情况。
3、TaskTracker同时监视当前机器的tasks运行状况。TaskTracker需要把这些信息通过heartbeat发送给JobTracker,JobTracker会搜集这些信息以给新提交的job分配运行在哪些机器上。
yarn中概念:
4、NM:NodeManager,管理每个节点上的资源和任务,主要有两个作用:定期向RM汇报该节点的资源使用情况和各个container的运行状态、接受并处理AM的作业任务启动,停止等请求。
5、RM:ResourceManager,负责管理所有应用程序计算资源的分配。
6、AM: ApplicationManager,每一个应用程序的AM负责相应的调度和协调。
7、containers:yarn为将来的资源隔离而提出的框架,每一个任务对应一个container,且只能在该container中运行。
如下图,所示:
![](https://i-blog.csdnimg.cn/blog_migrate/d211a48fb6a2596cc293aaa01d2b73cf.png)
基本的步骤:作业提交--作业初始化--任务的分配--任务的执行--任务进度和状态的更新--任务结束;
更细的步骤:
(0)Mr 程序提交到客户端所在的节点。
(1)Yarnrunner 向 Resourcemanager 申请一个 Application。
(2)rm 将该应用程序的资源路径返回给 yarnrunner。
(3)该程序将运行所需资源提交到 HDFS 上。
(4)程序资源提交完毕后,申请运行 mrAppMaster。
(5)RM 将用户的请求初始化成一个 task。
(6)其中一个 NodeManager 领取到 task 任务。
(7)该 NodeManager 创建容器 Container,并产生 MRAppmaster。
(8)Container 从 HDFS 上拷贝资源到本地。
(9)MRAppmaster 向 RM 申请运行 maptask 资源。
(10)RM 将运行 maptask 任务分配给另外两个 NodeManager,另两个 NodeManager 分
别领取任务并创建容器。
(11)MR 向两个接收到任务的 NodeManager 发送程序启动脚本,这两个 NodeManager
分别启动 maptask,maptask 对数据分区排序。
(12)MrAppMaster 等待所有 maptask 运行完毕后,向 RM 申请容器,运行 reduce task。
(13)reduce task 向 maptask 获取相应分区的数据。
(14)程序运行完毕后,MR 会向 RM 申请注销自己。
mapreduce运行失败模式:
1-任务运行失败;主要是程序代码中bug或者JVM出现问题所致;
2-tasktracker失败:jobstacker和tasktracker是通过
心跳进行通信的,如心跳停止,则认为map和reduce运行失败,这时,jobstacker会重新安排map任务运行。
此外,心跳正常也可能会导致tasktracker失败,对同一个作业的运行失败多次。次tasktracker会被拉入到黑名单(正常通信但不会安排任务)。
3-jobstracker失败:概率很小,目前没有机制能处理单点故障问题,降低单点失败是主要的方法(yarn对此有改进,引入了辅助主节点)。
yarn运行失败模式(和mapreduce相似):
1-任务运行失败;
2-AM运行失败;和tasktracker相似
3-NM运行失败;和tasktracker相似
4-RM运行失败;和jobtracker相似
额外附一张明了提交图:
![](https://i-blog.csdnimg.cn/blog_migrate/d7fd72e5556f1b7a5030c42c403d9b40.png)
参考文献:
hadoop权威指南