MapReduce应用场景、原理与基本架构理论部分（大数据学习）

MapReduce应用场景、原理与基本架构（理论部分）

实践部分的链接：

预习笔记

一、MapReduce设计思想与特色

MapReduce是分布式计算框架，其设计思想是将文件切分后，发送到多个不同的节点上分别进行计算，如下图所示：

可以看到存储在HDFS上的数据被切分成split后进行MapReduce并输出到HDFS上。

采用MapReduce有如下优点：

• 易于编程（多种语言接口）
• 具有良好的拓展性
• 具有高容错性
• 适合PB级以上的海量数据的离线处理

当然也有如下缺点：

• 无法实现实时计算
• 无法进行流式计算
• 无法进行DAG计算

二、MapReduce架构

Hadoop低版本下MapReduce总体架构图：

Hadoop高版本下重构（Yarn模块）：

MapReduce体系由4个核心组件组成：JobTracker，TaskTracker，Map task，Reduce task。
在新版本下的MapReduce中更改为ResourceManager与NodeManager，这两者皆属于新增Yarn模块。

（一）JobTracker

它用来分配MapReduce任务到各个节点，具有以下功能：

1. 它扮演Master角色
2. 它会将作业分解成一系列任务
3. 它将分解好的作业指派给TastTracker
4. 它实时进行作业、任务的监控以及错误的处理

它一旦出现故障，整个集群就不能用了。而现在2.0版本新增Yarn模块后JobTracker也就升级成为ResourceManager，基本思想就是将JobTracker的主要功能分离成两个不同的核心组件放到ResourceManager中，这两个分别是ApplicationManager与ResourceScheduler两个组件，基本功能是：
（1）ApplicationManager：调度并启动每一个Job所属的ApplicationMaster，另外监控ApplicationMaster的运行状况。
（2）ResourceScheduler：负责作业与资源的调度，接收提交的作业，并回复ApplicationMaster资源列表（各种运行状态）分配container。

（二）TaskTracker

真正用来计算的结点，具体功能如下：

• 它扮演Slave角色
• 它负责运行MapTask与ReduceTask任务
• 它与JobTracker交互执行命令，并汇报任务状态

它会周期性地向JobTracker汇报心跳，它一旦出现故障，上面所有任务将被调度到其它节点上。新版本的TaskTracker升级成为NodeManag