一、hadoop MapReduce架构 |
MapReduce的整个架构如上图所示,同HDFS一样,Hadoop MapReduce也采用了Master/Slave架构,其主要由以下4大组件构成。
(1):Client
client节点上运行MapReduce程序和JobClient,负责提交MapReduce作业和用户显示处理结果。
(2):JobTracker
JobTracker主要负责资源监控和作业调度。JobTracker监控所有TaskTrack与作业的健康状态,一旦某个节点作业失败,就会将相应的任务转移到其他的节点上。JobTracker的功能包括制订MapReduce作业的执行计划,分配任务的Map和Reduce的执行节点,监控任务的执行,重新分配失败的任务。每个Hadoop集群中仅有一个JobTracker。
(3):TaskTracker