大数据hadoop3.1.3——MapReduce学习（基础概念）

1、MapReduce概述

1、MapReduce定义

2、MapReduce优缺点
1 优点


2 缺点

3、MapReduce核心思想

1）分布式的运算程序往往需要分成至少2个阶段。

2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。

3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。

总结：分析WordCount数据流走向深入理解MapReduce核心思想。

4、MapReduce进程

5、常用数据序列化类型

6、 MapReduce编程规范

用户编写的程序分成三个部分：Mapper、Reducer和Driver。