Hadoop基础之《（5）—MapReduce概述》

一、什么是MapReduce
MapReduce将计算过程分为两个阶段：Map和Reduce。

1、Map阶段并行处理输入数据。
2、Reduce阶段对map结果进行汇总。

二、结构图

三、HDFS、Yarn、MapReduce三者之间的调用关系

HDFS三台服务器，第一台上有DataNode和NameNode。第二台上有DataNode。第三台上有DataNode和SecondaryNameNode。
接下来Yarn，第一台上有NodeManager。第二台上有ResourceManager和NodeManager。第三台上有NodeManager。

运行过程：
（1）ResourceManager找到一个服务器，开启一个Container，然后运行任务App Mstr。
（2）App Mstr向ResourceManager申请资源。
（3）ResourceManager找到两个节点，有对应的资源。App Mstr开启MapTask。
（4）把Map阶段所有的结果写入到HDFS。