MapReduce详解和WordCount模拟

最早接触大数据，常萦绕耳边的一个词「MapReduce」。它到底是什么，能做什么，原理又是什么？且听下文讲解。

是什么

MapReduce 即是一个编程模型，又是一个计算框架，它充分采用了分治的思想，将数据处理过程拆分成两步：Map 和 Reduce。用户只需要编写 map() 和 reduce() 函数，就能使问题的计算实现分布式，并在Hadoop上执行。

数据处理

MapReduce 操作数据的最小单位是一个键值对。map 端的主要输入是一对<key,value>值，经过 map 计算后输出一对<key,value>，然后将相同的 key 合并，形成<key,value 集合>，再将这个<key,value 集合>输入 reduce ，经过计算输出零个或多个<key,value>对。

两个重要的进程

JobTracker

JobTracker 在集群中负责任务调度和集群资源监控这两个功能。TaskTracker 通过周期性的心跳向 JobTracker 汇报当前的健康状况和状态，心跳中包括自身计算资源的信息、被占用的计算资源的信息和正在运行中的任务的状态信息。JobTracker 会根据各个 TaskTracker 周期性发送过来的心跳信息综合考虑TaskTracker 的资源余量、作业优先级、作业提交时间等因素，为 TaskTracker 分配合适的任务。

JobTracker 提供了一个基于 web 的管理界面，可以通过 JobTracker:50030 端口访问。

TaskTracker

TaskTracker 主要负责汇报心跳和执行 JobTracker 命令这两个功能。命令主要包括5种：启动命令、提交命令、杀死任务、杀死作业和重新初始化。

几个概念

作业(Job) 和 任务(Task)

MapReduce 作业是用户提交的最小单位，任务是 MapReduce 计算的最小单位。 简单讲，用户提交的是一个MapReduce作业，一个 MapReduce 作业可以被拆分成两种——Map 任务和 Reduce 任务。

槽（slot）

槽是Hadoop计算资源的表示模型，Hadoop 将各个节点上的多维度资源（CPU、内存等）抽象成一维度的槽。一个TaskTracker 能够启动的任务数量是由 TaskTracker 配置的任务槽决定的。

MapReduce 过程

一个MapReduce作业通常经过 input、map、combine、reduce、output 五个阶段。combi