Hadoop-2.4.1学习之Mapper和Reducer

       MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop Streaming（shell、python）和Hadoop Pipes（c++）。Hadoop-2.X不再保留Hadoop-1.X版本中的JobTracker和TaskTracker组件，但这并不意味着Hadoop-2.X不再支持MapReduce作业，相反Hadoop-2.X通过唯一的主ResourceManager、每个节点一个的从NodeManager和每个应用程序一个的MRAppMaster保留了对MapReduce作业的向后兼容。在新版本中MapReduce作业依然由Map和Reduce任务组成，Map依然接收由MapReduce框架将输入数据分割为数据块，然后Map任务以完全并行的方式处理这些数据块，接着MapReduce框架对Map任务的输出进行排序，并将结果做为Reduce任务的输入，最后由Reduce任务输出最终的结果，在整个执行过程中MapReduce框架负责任务的调度，监控和重新执行失败的任务等。

      通常计算节点和存储节点是相同的，MapReduce框架会有效地将任务安排在存储数据的节点上，有助于降低传输数据时的带宽使用量。MapReduce应用程序通过实现或者继承合适的接口或类提供了map和reduce函数，这两个函数负责Map任务和Reduce任务。作业客户端将编写好的作业提交给ResourceManager，而不再是JobTracker，ResourceManager负责将作业分布到从节点上，调度和监控作业，为作业客户端提供状态和诊断信息。</