MapReduce总结

MapReduce总结

1. MapReduce算法的核心概念

分而治之，切分、分别计算、合并。

2. map任务不是随便地分配给某个TaskTracker，而是根据数据本地化（Data-Local）；而分配reduce任务时并不考虑数据本地化。

3. 心跳机制

TaskTracker每隔一段时间会给JobTracker发送一个心跳，反馈给JobTracker它的运行状态。

4. 作业运行过程中的4个实体功能概括：

客户端Client：用于提交MapReduce job
JobTracker：用户提交作业的服务器，同时它还负责各个作业任务的分配，管理所有的任务服务器。
TaskTracker：任劳任怨的工蜂，负责执行具体的任务（map任务或reduce任务）。
HDFS：hadoop分布式文件系统，用于在各个进程间共享Job相关的文件

5. MR工作原理

将数据切割（默认一个块的大小64M），分给各个map，排序，混洗，将key相同的聚合到一起，存入reduce，再经过处理，存入hdfs。

6. MR工作机制

（1）NodeManager 功能比较专一，就是负责 Container 状态的维护，并向 RM 保持心跳。

（2）每一个应用的 ApplicationMaster 的职责有：向调度器索要适当的资源容器，运行任务，跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。

（3）Container 是 Yarn 为了将来作资源隔离而提出的一个框架。

7. 介绍了如何运行mapreduce程序（jar包），简单提了下用maven框架编写程序。