MapReduce之个人理解

MapReduce在hadoop体系的作用是分布式计算，分而治之的思想。

简单的说整个过程就是Map + Shuffle + Reduce

MapReduce过程中只能有一个Map和一个Reduce，复杂的话可以多个MapReduce串行运行

Map之前到Map

客户端需要将切片信息，jar包和xml配置文件提交到HDFS

Yarn根据切片数量启动相应MapTask(各玩各的)

Map Task通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。

每一个键值对调用一次map函数，调用OutputCollector.collect()输出结果。

Map：输入  key（long类型偏移量）  value（Text一行字符串）输出  key value

Shuffle

数据先分区，然后进入环形缓存区。

数据达到环形缓存区80%开始溢写（环默认大小100M）。

溢写出的文件区内排序（快排）。

所有同区的不同批次溢写出的小文件合并排序（归并排序）。

可combiner等reduce端拉取

启动相应reduce task

将数据从map端拉取到内存中，内存满了则放入磁盘

reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）

按照相同key分组

Reduce到结束

调用reduce方法

TextOutputFormat输出

 

 

MrAppMaster：负责整个程序的过程调度及状态协调。