MapReduce是啥？ 详解

MapReduce定义

Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。

Mapreduce核心功能

是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

MapReduce优缺点

优点：
MapReduce 易于编程- -它简单的实现一些接口
良好的扩展性- -简单的增加机器来扩展它的计算能力
高容错性- -一台机器挂了，它可以把上面的计算任务自动转移到另外一个节点上运行
适合PB级以上海量数据的离线处理- -它适合离线处理而不适合在线处理，延迟比较高
缺点：
不擅长做实时计算 - -延迟比较高，很难在毫秒或者秒级内返回结果
流式计算- -流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。
DAG（有向图）计算- -多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

MapReduce核心思想

1）分布式的运算程序往往需要分成至少2个阶段。
2）第一个阶段的maptask并发实例，完全并行运行，互不相干。
3）第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。
4）MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个mapreduce程序，串行运行。

MapReduce进程（MR）

一个完整的mapreduce程序在分布式运行时有三类实例进程：
1）MrAppMaster：负责整个程序的过程调度及状态协调。
2）MapTask：负责map阶段的整个数据处理流程。
3）ReduceTask：负责reduce阶段的整个数据处理流程。

MapReduce编程

用户编写的程序分成三个部分：Mapper、Reducer和Driver。
1．Mapper阶段
（1）用户自定义的Mapper要继承自己的父类
（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）
（3）Mapper中的业务逻辑写在map()方法中
（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）
（5）map()方法（maptask进程）对**每一个<K,V>**调用一次

public class xxxMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
   
	@Override
	protected void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {
   
			业务逻辑...
	}
}

2．Reducer阶段
（1）用户自定义的Reducer要继承自己的父类
（2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
（3）Reducer的业务逻辑写在reduce()方法中
（4）Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法

public class xxxReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
   
	@Override
	protected void reduce(Text key, Iterable<