第三章 MapReduce 实现分布式运算

1、MapReduce 基础

1、并行计算：将大型而复杂的任务分解为许多小型任务同时计算，以提高计算机的处理能力

2、 MapReduce是实现了并行计算的编程模型，为用户提供接口，屏蔽并行计算的细节

3、map：映射，负责将任务分解成多个子任务； reduce：归约，负责把分解后多任务的处理结果进行汇总

1、MapReduce 架构设计

 1、四个基本概念

Job ：MapReduce程序编写完成后需要配置成一个MapReduce作业

Task：作业中的任务，分为两类：MapTask和ReduceTask

JobTracker：负责创建MapTask或ReduceTask

TaskTracker：负责执行MapTask或ReduceTask

---

2、架构设计

MapReduce V1：

Master：JobTracker，初始化作业、创建调度子任务

Slave：TaskTracker，执行任务

MapReduce V2：

YARN

---

2、MapReduce 编程模型