Hadoop-第五周

一、掌握MR思想

1.1MapReduce核心思想

分布式的运算程序往往需要分成至少2个阶段
第一个阶段的MapTask并发实例，完全并行运行，互不相干
第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出
MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行

详细说明：

1. mapreduce里面的map阶段，需要把文件分开，一个文件200MB，分成两个 128MB和72MB
这个不是分块，这个专业术语叫做切片

2. 为什么切片生成以后是以128MB来切的呢？
因为切片和块有关系。
切的每一片都会分一个MapTask
如果两个文件切片成了三份，map阶段就会有三个Maptask，三个task互不干扰，并发执行。
每个maptask操作每个切片的时候，按行读取，先要将切片文件进行切割。碰到重复的数据，不管前面有没有出现，不会叠加，而是重复的记录出来就行。
map阶段处理完了，因为要求a-p,q-z分成不同的文件，所以每个maptask读完分配给自己的切片之后，需要进行分区写出去。
分区是根据需求来的，分了多少个区就需要多少个ReduceTask

3.分区的时候可以理解为有两个文件，但实际上是只有一个文件。
这个文件有两块，一块放的都是a-p,另一块q-z
每一块存的内容都是 单词 1 这样的形式。
接下来到了Reduce阶段。
因为在map阶段是有多个maptask的。每个task都有分区1和分区2.所以reduce需要把每个maptask的分区1汇总到reducetask1 把所有maptask的分区2汇总到reducetask2.然后每个reducetask互不相干,并发执行。对那些hadoop 1 hadoop 1 进行汇总成hadoop 2

4.reducetask处理的输入数据就是每个maptask处理的输出数据。
整个mapreduce中只有一个map阶段，一个reduce阶段。
我们前面分map阶段：根据将文件逻辑分片，每一片是一个maptask,根据业务（a-p,q-z放在不同文件）实现分区，每个区就是后面的每个reducetask.
对于一些非常复杂的任务中，需要编写多个mapreduce程序，先处理一部分任务。
每个mapreduce程序只能有一个map阶段，一个reduce阶段，但是每个阶段可以有多个task.
 

1.2MapReduce的进程

一个完整的MapReduce程序在分布式运行时有三类实例进程：

1.2.1 MRAppMaster

负责整个程序的过程调度及状态协调；当时讲Yarn的时候，有：resourceManager，nodemanager，applicationMaster（接口）

真正在运行一个mapreduce程序的时候，会启动一个AppMaster,真正启动的对象是MRMaster，所以可以理解为MRAppMaster是applicationMaster具体的实现类。

监控整个mr程序的运行。一个MR程序提交到Yarn上去执行Yarn可以运行很多个MR程序，为每个MR启动一个MRAppMaster

Yarn之 MRAppMaster 详解

 

1.2.2MapTask

2、流程
(1) Read 阶段：MapTask 通过用户编写的 RecordReader，从输入 InputSplit 中解析出 key/value。

(2) Map阶段：该节点主要是将解析出的 key/value 交给用户编写 map() 函数处理，并产生一系列新的 key/value。

(3) Collect 收集阶段：在用户编写 map() 函数中，当数据处理完成后，一般会调用 OutputCollector
.collect() 输出结果。在该函数内部，它会将生成的 key/value 分区 (调用 Partitioner)并写入一个环形内存缓冲区中。

(4) Spill 阶段：即“溢写”，当环形缓冲区满后，MapReduce 会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。

溢写阶段详情：
步骤 1：利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号 Partition 进行排序，然后按照 key 进行排序。这样，经过排序后，数据以分区为单位聚集在一起，且同一分区内所有数据按照 key 有序。

步骤 2：按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文 output/spillN.
out(N 表示当前溢写次数)中。如果用户设置了 Combiner，则写入文件之前，对每个分区中的数据进行一次聚集操作。

步骤 3：将分区数据的元信息写到内存索引数据结构 SpillRecord 中，其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过 1MB，则将内存索引写到文件 output/spillN.out.index 中。

(5) Combine 阶段：当所有数据处理完成后，MapTask 对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。

当所有数据处理完后，MapTask 会将所有临时文件合并成一个大文件，并保存到文件 output/file.out中，同时生成相应的索引文件 output/file.out.index。

在进行文件合并过程中，MapTask 以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并 io.sort.factor(默认10)个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。

让每个 MapTask 最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。
 

MapTask并行度决定机制及切片机制

1.2.3ReduceTask

1、ReduceTask 工作机制

(1) Copy 阶段：ReduceTask 从各个 MapTask 上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。

(2) Merge 阶段：在远程拷贝数据的同时，ReduceTask 启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。

(3) Sort 阶段：按照 MapReduce 语义，用户编写 reduce() 函数输入数据是按 key 进行聚集的一组数据。为了将 key 相同的数据聚在一起，Hadoop 采用了基于排序的策略。由于各个MapTask 已经实现对自己的处理结果进行了局部排序，因此，ReduceTask 只需对所有数据进行一次归并排序即可。

(4) Reduce 阶段：reduce() 函数将计算结果写到 HDFS 上。

2、设置 ReduceTask 并行度
ReduceTask 的并行度同时影响整个 Job 的执行并发度和执行效率，但与 MapTask 的并发数由切片数决定不同，ReduceTask 数量的决定是可以直接手动设置：

// 默认值是1，手动设置为5
job.setNumReduceTasks(5);

3、注意事项
(1) ReduceTask = 0，表示没有 Reduce 阶段，输出文件个数和 Map 个数一致。

(2) ReduceTask 默认值就是 1，所以输出文件个数为一个。

(3) 如果数据分布不均匀，就有可能在 Reduce 阶段产生数据倾斜。

(4) ReduceTask 数量并不是任意设置，还要考虑业务逻辑需求，有些情况下，需要计算全局汇总结果，就只能有一个 ReduceTask。

(5) 具体多少个 ReduceTask，需要根据集群性能而定。

(6) 如果分区数不是1，但是 ReduceTask 为1，是否执行分区过程。答案是：不执行分区过程。因为在 MapTask 的源码中，执行分区的前提是先判断 ReduceNum 个数是否大于1。不大于 1 不执行。
 

MapReduce的ReduceTask任务的运行源码级分析

MR程序中ReduceTask并行度的控制

 

二、熟悉MR编程模型

1.1Mapper阶段

1.2Reducer阶段和Driver阶段

 

在Mapper阶段执行完毕之后，开始Reducer阶段的执行，如下图所示：