MapReduce运行机制

MapReduce简介

mapReduce的设计理念是“计算向数据靠拢”，采用“分而治之”的策略，将庞大的数据集切分成多个独立的小分片，并且为每个小分片单独地启动一个map任务,这样多个小切片可以并行地执行map任务，在WordCount里面，一行文本就是一个小切片。其中，map任务地输出又作为reduce任务地输入。
适合mapReduce来处理的数据集需要满足一个前提：待处理的数据集可以分解成许多更小的数据集，且每一个更小的数据集都可以完全并行地处理。
MapReduce采用的是主从架构（Master/Slave），即一个主服务器（master），多个从服务器(slave)，master上运行JobTracker,slave运行Task Tracker。
Map和Reduce函数，如下表

上表的例子是wordCount，统计某个文件夹下的词频统计，在此例中，可以大的数据集就是文件夹的所有文件，分成的小数据是不同的单词，单词之间的频数不存在关联性

MapReduce 体系架构

MapReduce体系结构主要由4部分组成，分别是：Client、JobTracker、TaskTracker以及Task，如下图。

图1

（1）Client
用户编写的MapReduce程序通过Client提交到JobTracker端，
用户可以通过Client提供的一些接口查看作业运行状态。
（2）JobTracker（运行在主服务器）
负责资源监控和资源调度
监控所有的TaskTracker与Job的健康状况，一旦发现失败，就将相应的任务转移到其他节点
JobTracker会跟踪任务的执行调度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler）,而调度器会在资源出现空闲时，选择合适的任务去使用这些资源。
（3）Job Tracker（运行在从服务器）
TaskTracker 会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker 发送过来的