MapReduce简单介绍

1、MapReduce缺点是不擅长实时计算、流式计算、有向图（DAG）计算

MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。

2、具体执行

一个完整的MapReduce程序在分布式运行时有三类实例进程：

1）、MrAppMaster：负责整个程序的过程调度及状态协调。

2）、MapTask：负责Map阶段的整个数据处理流程，完全并行运行，互不相干

3）、ReduceTask：负责Reduce阶段的整个数据处理流程，完全并行运行，互不相干，但是依赖于上一个阶段的所有MapTask并发实例的输出。

3、编程规范

用户编写的程序分成三个部分：Mapper、Reducer和Driver。

打成jar包，将jar包传递到分布式文件系统进行运行，此时输入、输出都是分布式文件系统上的目录。

也可以传递本地路径，使其在本地进行保存输出。

4、Hadoop序列化

具体实现bean对象序列化步骤：注意反序列化的顺序和序列化的顺序完全一致

1）、实现Writable接口

2）、反序列化时，需要反射调用空参构造函数，所以必须有空参构造

3）、重写序列化方法

4）、重写反序列化方法

5）、要想把结果显示在文件中，需要重写toString()

6）、如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序

5、MapReduce框架原理

一个job可以启动多个MapTask任务。

MapTask并行度决定机制：