学习笔记-MapReduce过程

MapReduce过程

最外层的黑框是一个机器的边界

map task

• 读文件

InputFormat(主要是TextInputFormat)–>RecorderReader–>read()一次读一行，返回<key,value>

//InputFormat抽象类,只有两个抽象方法
public abstract List<InputSplit> getSplits(JobContext) throws IOException,InterruptedException;
public abstract RecordReader<K,V> createRecordReader(InputSplit var1, TaskAttemptContext var2) throws IOException, InterruptedException;

//FileInputFormat extends InputFormat
//实现getSplits方法

//TextInputFile extends FileInputFormat(还有许多子类)
//实现 createRecordReader方法(处理文本文件)

• <key,value>值被Mapper的map()方法调用，处理后形成新的<k,v>,通过context.write(k,v)输出到OutputCollection收集器

• OutputCollection把收集的键值对写入环形缓冲区(环形数组，不会越界，默认大小为100M,只能写到80%，打到时触发spill溢出)

shuffle:MR处理流程中的一个过程，分散在各个Map task和Reduce task节点完成，总体分为3个操作

1. 分区：patition
2. 排序：sort，根据key
3. Combinner进行局部value合并

• spill溢出前，在环状缓冲区，进行分区，每一个<k,v>对应一个hash值,由hash值确定patition值，相同的在同一分区，然后根据patition值和key升序排序(在同一patition内按key排序)

• 环形缓冲区对文件处理后，不断spill(溢出)到本地文件(若文件较大，可能溢出多个文件)

• 对溢出文件合并(merge)，使用归并排序，合并后分区且区内有序(combiner)

Reduce Task

• 根据Reduce分区号，从各个Map Task节点复制相同分区号的数据到磁盘本地目录(合并)

• 同combiner,使用归并排序，将不同maptask,同一分区文件，合并成一个大文件

• shuffle结束，reduce task调用GroupingComparator实现数据分组，一组一组(k,v)键值对，调用reduce()方法，处理数据

• 通过OutputFormat()写入文件，序列化