hadoop MapReduce分布式计算架构

同分布式文件系统HDFS一样，hadoop的MapReduce也采用了Master/slave架构，它主要由Client、JobTracker、TaskTracker和task四部分组成

1.Client：用户编写的MapReduce程序通过Client提交到JobTracker端，用户可通过Client提供的接口查看作业的运行状态。

2.JobTracker：主要负责资源监控和作业调度。JobTracker监控所有TaskTracker与作业的运行状态，一点发现失败情况之后，会将其移动到其他节点上。同时，JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器，而任务调度器会在资源空闲时选择合适的任务使用这些资源。

3.TaskTracker：TaskTracker会周期性的通过HeartBeat将本节点上资源的使用情况和任务运行信息汇报给JobTracker，同时也接受来自JobTracker发来的命令并且执行他们，比如说启动一个任务或者杀死一个任务等等。TaskTracker使用slot等量划分本几点上的资源量。一个Task只有获取一个slot之后才有机会运行，而hadoop调度器的作用就是将各个TaskTracker上空闲的slot分配给Task使用。slot分为Map slot和Reduce slot两种，分别给Map Task和Reduce Task使用。TaskTracker通过slot数目来限定Task的并发度。

4.Task：Task分为Map Task和Reduce Task两种，均有TaskTracker启动，HDFS以固定大小的block为基本单位来存储数据。而MapReduce的处理单位是split。split是一个逻辑概念，他只包含一些元数据信息，比如数据的起始位置、数据长度、数据所在节点等等。他的划分方法完全由用户自己决定。split的数目限定了MapTask的数目，每一个split都交给一个MapTask处理。Map Task先将对应的split迭代解析成若干个key/value对，一次调用用户自定义的map（）函数进行处理，最终将临时结果存放到本地磁盘上，其中临时数据被分成若干个partition，每个partition将被一个ReduceTask处理。Reduce Task从远程节点上读取Map Task处理过的结果，按照key/value对进行排序，依次读取key/value并且调用用户自定义的reduce（）函数处理，并将处理结果存储到HDFS上。