MapReduce简介
mapReduce的设计理念是“计算向数据靠拢”,采用“分而治之”的策略,将庞大的数据集切分成多个独立的小分片,并且为每个小分片单独地启动一个map任务,这样多个小切片可以并行地执行map任务,在WordCount里面,一行文本就是一个小切片。其中,map任务地输出又作为reduce任务地输入。
适合mapReduce来处理的数据集需要满足一个前提:待处理的数据集可以分解成许多更小的数据集,且每一个更小的数据集都可以完全并行地处理。
MapReduce采用的是主从架构(Master/Slave),即一个主服务器(master),多个从服务器(slave),master上运行JobTracker,slave运行Task Tracker。
Map和Reduce函数,如下表
上表的例子是wordCount,统计某个文件夹下的词频统计,在此例中,可以大的数据集就是文件夹的所有文件,分成的小数据是不同的单词,单词之间的频数不存在关联性
MapReduce 体系架构
MapReduce体系结构主要由4部分组成,分别是:Client、JobTracker、TaskTracker以及Task,如下图。
(1)Client
用户编写的MapReduce程序通过Client提交到JobTracker端,
用户可以通过Client提供的一些接口查看作业运行状态。
(2)JobTracker(运行在主服务器)
负责资源监控和资源调度
监控所有的TaskTracker与Job的健康状况,一旦发现失败,就将相应的任务转移到其他节点
JobTracker会跟踪任务的执行调度、资源使用量等信息,并将这些信息告诉任务调度器(TaskScheduler),而调度器会在资源出现空闲时,选择合适的任务去使用这些资源。
(3)Job Tracker(运行在从服务器)
TaskTracker 会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,同时接收JobTracker 发送过来的