MapReduce的整体工作机制（seven day second）

 

MapReduce架构

  Hadoop MapReduce采用Master/Slave（M/S）架构，如下图所示，主要包括以下组件：Client、JobTracker、TaskTracker和Task。

1）Client 
  用户编写的MapReduce程序通过Client提交到JobTracker端；同时，用户可通过Client提供的一些接口查看作业运行状态。在Hadoop内部用“作业”（Job）表示MapReduce程序。一个MapReduce程序可对应若干个作业，而每个作业会被分解成若干个Map/Reduce任务（Task）。

（2）JobTracker 
  JobTracker主要负责资源监控和作业调度。JobTracker监控所有TaskTracker与作业的健康状况，一旦发现失败情况后，其会将相应的任务转移到其他节点；同时JobTracker会跟踪任务的执行进度、资源使用量等，并将这些信息告诉给任务调度器（Task Scheduler），而T调度器会在资源出现空闲时，选择合适的任务使用这些资源。在Hadoop中，任务调度器是一个可插拔的模块，用户可以根据自己的需要设计相应的Scheduler。

（3）TaskTracker 
  TaskTracker会周期性地通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker发送过来的命令并执行相应操作（如启动新任务、杀手任务等）。TaskTracker使用“slot”等量划分本节点上的资源量。“slot”代表计算资源（CPU、内存等）。一个Task获取到一个slot后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Map slot和Reduce slot两种，分别供Map Task和Reduce Task使用。TaskTracker通过slot数目（可配置参数）限定Task的并发度。

（4）Task 
  Task分为Map Task和Reduce Task两种，均由TaskTracker启动。我们知道，HDFS以固定大小的block为基本单位存储数据，而对于MapReduce而言，其处理单位是split。split与block的对应关系如下图所示。split是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。但需要注意的是，split的多少决定Map Task的数目，因为每个split会交由一个Map Task处理。

split和block的区别:

 （4-1）Map Task的执行过程 
  Map Task先将对应的split迭代解析成一个个key/value对，依次调用用户自定义的map()函数进行处理，最终将临时结果存放到本地磁盘上，其中临时数据被分为若干个partition，每个partition将被一个Reduce Task处理。 

（4-2）Reduce Task的执行过程 
       Map Task执行过程分为三个阶段①从远程节点上读取Map Task的中间结果（称为“Shuffle阶段”）；②按照key对key/value键值对进行排序（称为“Sort阶段”）；③依次读取<key, value list>，调用用户自定义的reduce()函数处理，并将最终结果存放到HDFS上（称为“Reduce阶段”）。 

 MapReduce生命周期:

 

步骤1：作业提交与初始化。 
  用户提交作业后，首先由JobClient实例将作业相关信息，比如将程序jar包、作业配置信息、分片原信息文件等上传到分布式文件系统（一般为HDFS）上，其中，分片信息文件记录了每个输入分片的逻辑位置信息。然后JobClient通过RPC通知JobTracker。JobTracker收到新作业提交请求后，由作业调度模块对作业进行初始化：为作业创建一个JobInProcess对象以跟踪作业运行状况，而JobInProcess则会为每个Task创建一个TaskInProgress对象以跟踪每个任务的运行状态，TaskInProgress可能需要管理多个“Task运行尝试”（成为“Task Attempt”）。

步骤2：任务调度与监控。 
  任务调度和监控均由JobTracker完成。TaskTracker周期性地通过Heartbeat向JobTracker汇报本节点的资源使用情况，一旦出现空闲资源，JobTracker会按照一定的策略选择一个合适的任务使用该空闲资源，这个过程由任务调度器完成。任务调度器是一个可插拔的独立模块，且为双层架构，即首先选择作业，然后从该作业中选择任务，其中，选择任务时需要重点考虑数据本地性。此外，JobTracker跟踪作业的整个运行过程，并为作业的成功运行提供全方位的保障。首先，当TaskTracker或者Task失败时，转移计算任务；其次，当某个Task执行进度远落后于同一个同一个作业的其他Task时，为之启动一个相同的Task，并选择计算快的Task结果作为最终结果。

步骤3：任务运行环境准备。 
  运行环境准备包括JVM启动和资源隔离，均由TaskTracker实现。TaskTracker为每个Task启动一个独立的JVM以避免不同Task在运行过程中相互影响；同时，TaskTracker使用操作系统进程实现资源隔离以防Task滥用资源。

步骤4：任务执行。 
  TaskTracker为Task准备好运行环境后，便会启动Task。在运行过程中，每个Task的最新进度首先由Task通过RPC汇报TaskTracker，再由TaskTracker通过RPC汇报给JobTracker。

步骤5：作业完成。 
  待所有Task执行完毕后，整个作业执行成功。
 

 

 从map任务和reduce任务的层次来分析分析

:

Map端：

1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的80%，由io.sort.spill.percent属性控制），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件。

2．在写入磁盘之前，线程首先根据reduce任务的数目将数据划分为相同数目的分区，也就是一个reduce任务对应一个分区的数据。这样做是为了避免有些reduce任务分配到大量数据，而有些reduce任务却分到很少数据，甚至没有分到数据的尴尬局面。其实分区就是对数据进行hash的过程。然后对每个分区中的数据进行排序，如果此时设置了Combiner，将排序后的结果进行Combia操作，这样做的目的是让尽可能少的数据写入到磁盘。

3．当map任务输出最后一个记录时，可能会有很多的溢出文件，这时需要将这些文件合并。合并的过程中会不断地进行排序和combia操作，目的有两个：1.尽量减少每次写入磁盘的数据量；2.尽量减少下一复制阶段网络传输的数据量。最后合并成了一个已分区且已排序的文件。为了减少网络传输的数据量，这里可以将数据压缩，只要将mapred.compress.map.out设置为true就可以了。

4．将分区中的数据拷贝给相对应的reduce任务。有人可能会问：分区中的数据怎么知道它对应的reduce是哪个呢？其实map任务一直和其父TaskTracker保持联系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整个集群中的宏观信息。只要reduce任务向JobTracker获取对应的map输出位置就ok了。(有的资料称为shuffle过程，主要是筛选排序，将Map的输入Hash处理后分到对应的reduce上。Hash处理：对应的字符生成对应字符串，可以用来分配不同地址，达到筛选的效果)

Reduce端：

1．Reduce会接收到不同map任务传来的数据，并且每个map传来的数据都是有序的。如果reduce端接受的数据量相当小，则直接存储在内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制，表示用作此用途的堆空间的百分比），如果数据量超过了该缓冲区大小的一定比例（由mapred.job.shuffle.merge.percent决定），则对数据合并后溢写到磁盘中。

2．随着溢写文件的增多，后台线程会将它们合并成一个更大的有序的文件，这样做是为了给后面的合并节省时间。其实不管在map端还是reduce端，MapReduce都是反复地执行排序，合并操作，现在终于明白了有些人为什么会说：排序是hadoop的灵魂。

3．合并的过程中会产生许多的中间文件（写入磁盘了），但MapReduce会让写入磁盘的数据尽可能地少，并且最后一次合并的结果并没有写入磁盘，而是直接输入到reduce函数。

从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

 

Mapreduce框架是由一个单独运行在主节点上的Jobtracker和运行在各从节点上的Tasktracker共同组成的，主节点负责调度构成一个作业的所有任务，这些任务就近分布在不同的从节点上（靠近数据源分布，网络传输受限与带宽等限制，少传数据好）。主节点监控各从节点的执行情况，如果任务失败，则重新执行；从节点仅仅负责干活，完成主节点指派的任务。当一个Job被提交，Jobtracker接受到提交作业和配置信息后，就将配置信息等发送给各从节点，同时调度任务并监控tasktracker的执行，如此一来就形成了一个树形结构，每个叶子节点处理小任务，再把结果返回给父节点。

参考文章：（有现成的图拿来分享一下，自己画的不忍直视）

https://blog.csdn.net/qq_29342837/article/details/78587458 

https://blog.csdn.net/sinat_17161487/article/details/42994021