MapReduce工作流程

MapReduce概念

Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

为什么要MapReduce

1）海量数据在单机上处理因为硬件资源限制，无法胜任

2）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度

3）引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理。

4）mapreduce分布式方案考虑的问题

（1）运算逻辑要不要先分后合？

（2）程序如何分配运算任务（切片）？

（3）两阶段的程序如何启动？如何协调？

（4）整个程序运行过程中的监控？容错？重试？

分布式方案需要考虑很多问题，但是我们可以将分布式程序中的公共功能封装成框架，让开发人员将精力集中于业务逻辑上。而mapreduce就是这样一个分布式程序的通用框架。

MapReduce核心思想

上图简单的阐明了map和reduce的两个过程或者作用，虽然不够严谨，但是足以提供一个大概的认知，map过程是一个蔬菜到制成食物前的准备工作，reduce将准备好的材料合并进而制作出食物的过程

MapReduce进程

一个完整的mapreduce程序在分布式运行时有三类实例进程：

1）MrAppMaster：负责整个程序的过程调度及状态协调

2）MapTask：负责map阶段的整个数据处理流程

3）ReduceTask：负责reduce阶段的整个数据处理流程

MapReduce编程规范（八股文:也就是按这种格式来写,都一样的套路写）

用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)

1）Mapper阶段

       （1）用户自定义的Mapper要继承自己的父类

       （2）Mapper的输入数据是KV对的形式（KV的类型可自定义）

       （3）Mapper中的业务逻辑写在map()方法中

       （4）Mapper的输出数据是KV对的形式（KV的类型可自定义）

       （5）map()方法（maptask进程）对每一个<K,V>调用一次

2）Reducer阶段

       （1）用户自定义的Reducer要继承自己的父类

       （2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV

       （3）Reducer的业务逻辑写在reduce()方法中

       （4）Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法

3）Driver阶段

整个程序需要一个Drvier来进行提交，提交的是一个描述了各种必要信息的job对象

 

常用数据序列化类型

常用的数据类型对应的hadoop数据序列化类型

Java类型	Hadoop Writable类型
boolean	BooleanWritable
byte	ByteWritable
int	IntWritable
float	FloatWritable
long	LongWritable
double	DoubleWritable
string	Text
map	MapWritable
array	ArrayWritable

上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下：

1)  源文件,也就是一堆文本文件

2)  形成一个job等准备工作

3)  提交切片信息

4)  计算出maptask个数

5)  默认使用TextInputFormat从源文件读取信息

6)  经过mapper逻辑分成key,value格式

7）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中,Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。缓冲区的大小可以通过参数调整，参数：io.sort.mb  默认100M,当到达百分之八十的时候就会溢出.

8）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件,溢出的过程会执行分区,排序,溢出到本地磁盘的文件已经是分区排序好的.然后会支持combiner逻辑代码.

9）多个溢出文件会被合并成大的溢出文件

10）reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据

11）reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）

12）合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）

13)如果有需求需要的话再进行分组,然后输出结果