MapReduce任务解析
在YARN上一个MapReduce任务叫做一个Job。一个Job的主程序在MapReduce框架上实现的应用名称叫MRAppMaster.
MapReduce任务的Timeline
这是一个MapReduce作业执行时间:
- Map 阶段:根据数据块会执行多个Map Task
- Reduce 阶段:根据配置项会执行多个Reduce Task
为提高Shuffle效率Reduce阶段会在Map阶段结束之前就开始。(直到所有MapTask完成之后ReduceTask才能完成,因为每个ReduceTask依赖所有的MapTask的结果)
Map阶段
首先看看Map阶段,一个Job需要多少Map Task吧
用户会提交什么?
当一个客户端提交的应用时会提供以下多种类型的信息到YARN上。
- 一个configuration(配置项):Hadoop有默认的配置项,所以即使什么都不写它也有默认的配置项加载。优先级高到低顺序是用户指定的配置项>etc/conf下的XML>默认配置项
- 一个JAR包
- 一个map()实现(Map抽象类的实现)
- 一个combiner 实现(combiner抽象类的实现,默认是跟Reduce实现一样)
- 一个reduce()实现(Reduce抽象类的实现)
- 输出输入信息:
- 输入目录:输入目录的指定,如输入HDFS上的目录、S3或是多少个文件。
- 输出目录:输出目录的指定,在HDFS还是在S3。
输入目录中的文件数用于决定一个Job的MapTask的数量。
那么到底会有多少个MapTask呢?
Application Master会为每一个split(分片)创建一个MapTask。通常情况下,每个文件都会是一个split。如果文件太大(大于128M、HDFS默认块大小)就会分为多个split并关联到这个文件,也就是一个文件会产生多个Map Task。获取split数量方法代码如下 getSplits() of the FileInputFormat class:
num_splits = 0
for each input file f:
remaining = f.length
while remaining / split_size > split_slope:
num_splits += 1
remaining -= split_size
split_slope = 1.1
split_size =~ dfs.blocksize
MapTask执行过程
Application Master会向Resource Maneger资源管理器提交job所需要的资源:为每一个split文件申请一个container来运行Map Task。
为了提高文件读取效率container在map split所在的机器上运行是最为理想的。因此AM会根据数据本地性>CPU>内存匹配的方式分配container
- 如果发现一个Node Manager上有所需的map split那么相关的container就会分配到这个NM上(因为根据HDFS备份机制有3台机器上同时拥有相同的块);
- 否则, 会分配到机柜内的其他机器上;
- 否则, 会分配到集群上的任何一个机器上
当容器被分配给AM时Map Task任务就会启动。
Map 阶段:示例
这是一个典型的Map执行场景:
- 有2个Node Manager:每个Node Manager拥有2GB内存,而每个MapTask需要1GB内存,因此每个NM可以同时运行2个container
- 没有其他的应用程序在集群中运行
- 我们的job有9个split (例如,在输入目录里有8个文件,但其中只有一个是大于HDFS块大小的文件,所以我们把它分为2个map split);因此需要9个map
MapTask执行的Timeline
现在让我们专注于一个Map Task任务。这是Map Task任务执行时间线:
- 初始化(INIT)阶段:初始化Map Task(默认是什么都没有。。)
- 执行(EXECUTION)阶段: 对于每个 (key, value)执行map()函数
- 排序(SPILLING)阶段:map输出会暂存到内存当中排序,当缓存达到一定程度时会写到磁盘上,并删除内存里的数据
- SHUFFLE 阶段:排序结束后,会合并所有map输出,并分区传输给reduce。
MapTask:初始化(INIT)
1. 创建一个Task上下文,Reduce也继承自它(TaskAttemptContext.class)
2. 创建MAP实例 Mapper.class
3. 设置input (e.g., InputFormat.class, InputSplit.class, RecordReader.class)
4. 设置output (NewOutputCollector.class)
5. 创建mapper的上下文(MapContext.class, Mapper.Context.class)
6. 初始化输入,例如
7. 创建一个SplitLineReader.class object
8. 创建一个HdfsDataInputStream.class object
MapTask:执行(EXECUTION)
Map的执行阶段从 Mapper class的run 方法开始,我们通常要写的也就是它了。默认情况下run之前会调用setup方法:这个函数没有做任何事情,但是我们可以重写它来配置相关的类变量等信息。执行setup方法之后会对每一个<key, value>执行map()函数。之后map context会存储这些数据到一个缓存区,为后续排序做准备。
当map执行完处理时,还会调用一个clean方法:默认情况下,也不执行任何操作,但用户也可以重写它。
MapTask:排序(SPILLING)
执行阶段期间map会把数据写进一个缓存区(MapTask.MapOutputBuffer)。这个缓存大小由配置项设定mapreduce.task.io.sort.mb (默认:100MB)。为了提高硬盘刷写速度缓存区达到80%会写数据到磁盘,会有一个单独的线程并行执行。当缓存区容量达到100%那么就要等到这个单独的线程把数据写完才能继续执行map方法。
排序线程会执行以下动作:
1. 创建一个SpillRecord和一个FSOutputStream (在本地文件系统)
2. 在内存中对键值对进行快速排序
3. 分区
4. 按顺序写入本地分区文件。
Shuffle阶段
Reduce阶段
Reduce阶段的run与Map阶段的run执行是类似的。
ref:http://ercoppa.github.io/HadoopInternals/AnatomyMapReduceJob.html