hadoop学习笔记(5)——MapReduce运行机制

MapReduce整体运行图

一.Map阶段

1. 读取数据组件InputFormat(默认是TextInputFormat)会通过getSplits方法对输入目录中文件经行逻辑切片规划得到block，有多少个block就会启动多少个MapTask.
2. 将输入文件切分为block之后，由RecordReader对象(默认是LineRecordReader)进行读取，以\n作为分隔符，读取一行数据，返回<key,value>，key表示每行首字符偏移值，value表示这一行文本内容
3. 读取block返回的<key,value>，进入到用户自己继承的Mappper类中，执行用户重写的map函数，RecordReader读取一行，就调用一次map
4. Mapper逻辑结束后，将Mappper的每条结果通过context对象write方法collect数据，在collect，会对其进行分区处理，用户自己定义继承Partitioner的类，重写getPartition方法，定义分区逻辑。如果没有指定Partitioner，则默认使用HashPartitioner（对k2的hash值进行取模)。
5. 接下来，会将数据写入到内存，内存中这片区域叫环形缓冲区，缓冲区的作用是批量收集Mapper结果，减少磁盘IO的影响，我们的 Key/Value 对以及 Partition 的结果都会被写入缓冲区. 当然, 写入之前，Key 与 Value 值都会被序列化成字节数组

环形缓冲区其实是一个数组, 数组中存放着 Key, Value 的序列化数据和 Key,
Value 的元数据信息, 包括 Partition, Key 的起始位置, Value 的起始位置以及 Value
的长度.† 环形结构是一个抽象概念

缓冲区是有大小限制, 默认是 100MB. 当 Mapper 的输出结果很多时, 就可能会撑爆内存, 所以需要在一定条件下将缓冲区中的数据临时写入磁盘, 然后重新利用这块缓冲区. 这个从内存往磁盘写数据的过程被称为 Spill, 中文可译为溢写. 这个溢写是由单独线程来完成, 不影响往缓冲区写 Mapper 结果的线程. 溢写线程启动时不应该阻止 Mapper 的结果输出, 所以整个缓冲区有个溢写的比例spill.percent . 这个比例默认是 0.8, 也就是当缓冲区的数据已经达到阈值buffer size * spill percent = 100MB * 0.8 = 80MB , 溢写线程启动,锁定这 80MB 的内存, 执行溢写过程. Mapper 的输出结果还可以往剩下的 20MB内存中写, 互不影响

6. 当溢写线程启动后，需要对这80MB空间内的key做排序，排序是MapReduce模型默认的行为，这里的排序也是对序列化的字节做的排序

如果 Job 设置过 Combiner, 那么现在就是使用 Combiner 的时候了. 将有相同Key 的 Key/Value 对的 Value 加起来, 减少溢写到磁盘的数据量. Combiner 会优化MapReduce 的中间结果, 所以它在整个模型中会多次使用

那哪些场景才能使用 Combiner 呢? 从这里分析, Combiner 的输出是 Reducer 的输入, Combiner 绝不能改变最终的计算结果. Combiner 只应该用于那种 Reduce的输入 Key/Value 与输出 Key/Value 类型完全一致, 且不影响最终结果的场景. 比如累加, 最大值等. Combiner 的使用一定得慎重, 如果用好, 它对 Job 执行效率有帮助, 反之会影响 Reducer 的最终结果

7. 合并溢写文件，每次溢写会在磁盘上生成一个临时文件，如果Mapper的输出结果很大，有多次这样的溢写发生，磁盘上相应的就会有多个临时文件存在，当整个数据处理结束之后开始对磁盘中的临时文件进行Merge合并，最终生成一个文件写入磁盘，并且为这个文件提供了一个索引文件，以记录每个reduce对应数据的偏移量

在mapred-site.xml中，可以对溢写文件进行一些配置

配置	默认值	解释
mapreduce.task.io.sort.mb	100	设置环型缓冲区的内存值大小
mapreduce.map.sort.spill.percent	0.8	设置溢写的比例
mapreduce.cluster.local.dir	${hadoop.tmp.dir}/mapred/local	溢写数据目录
mapreduce.task.io.sort.factor	10	设置一次合并多少个溢写文件

二. Reduce

1. copy阶段。简单地拉取数据。Reduce进程启动一些数据copy线程（Fether)通过HTTP方式请求maptask获取属于自己的文件
2. Merge阶段。。这里的merge如map端的merge动作，只是数组中存放的是不同map端copy来的数值。Copy过来的数据会先放入内存缓冲区中，这里的缓冲区大小要比map端的更为灵活。merge有三种形式：内存到内存；内存到磁盘；磁盘到磁盘。默认情况下第一种形式不启用。当内存中的数据量到达一定阈值，就启动内存到磁盘的merge。与map 端类似，这也是溢写的过程，这个过程中如果你设置有Combiner，也是会启用的，然后在磁盘中生成了众多的溢写文件。第二种merge方式一直在运行，直到没有map端的数据时才结束，然后启动第三种磁盘到磁盘的merge方式生成最终的文件。
3. 合并排序 。把分散的数据合并成一个大的数据后，还会再对合并后的数据排序。
4. 对排序后的键值对调用reduce方法 ，键相等的键值对调用一次reduce方法，每次调用会产生零个或者多个键值对，最后把这些输出的键值对写入到HDFS文件中。

三 shuffle过程

map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框中中最关键的一个流程，这个流程就叫 shuffle: 洗牌、发牌 ——（核心机制：数据分区，排序，分组，规约，合并等过程）

shuffle 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shuffle

1. Collect阶段：将MapTask的结果输出到默认大小为100M的环形缓冲区，保存的是k2,v2,partition分区信息等
2. Spill阶段：当内存中的数据量达到一定的阈值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner，还会将有相同分区号和key的进行排序
3. Merge阶段：把所有溢出的临时文件进行进行一次合并操作，以确保一个MapTask最终只产生一个中间数据文件
4. copy阶段：ReduceTask 启动 Fetcher 线程到已经完成 MapTask 的节点上复制一份属于自己的数据，这些数据默认会保存在内存的缓冲区中，当内存的缓冲区达到一定的阀值的时候，就会将数据写到磁盘之上。
5. Merge阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作
6. Sort阶段：在对数据进行合并的同时，会进行排序操作，由于 MapTask 阶段已经对数据进行了局部的排序，ReduceTask 只需保证 Copy 的数据的最终整体有效性即可。

Shuwle 中的缓冲区大小会影响到 mapreduce 程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快缓冲区的大小可以通过参数调整, 参数：mapreduce.task.io.sort.mb 默认100M