Hadoop之MapReduce介绍

MapReduce：

1、计算过程分为俩个阶段，Map和Reduce
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
2、Shuffle连接Map和Reduce俩个阶段
Map Task将数据写到本地磁盘
Reduce Task从每个MapTask上读取一份数据
3、仅适合离线批处理
具有很好的容错和扩展性
适合简单的批处理任务
4、缺点明显
系统开销过大、过多使用磁盘导致效率低下

执行流程：

编程模型：map阶段进行拆分，Reduce阶段进行聚合

 

文字介绍：

1、hdfs存放的文件，进行切分成多分，交给不同的map进行处理

2、shuffle流程：map将处理的数据写入本地瓷片进行存储，Reduce从本地磁盘读取数据进行处理

3、Reduce将本地读取的数据进行聚合处理（就是放到一起整体处理，这就是批处理），然后输出到hdfs进行存储。