Job的输入切片机制及源码流程
当在使用Linux指令,提交一次job运行后,处理单个文件时,开始的进程如下:
Run Jar -->MRAppMaster-->YarnChild(MapTask/reduceTask)当map运行结束后,YarnChild结束,当运行reduce时又产生一个YarnChild,当reduce结束后YarnChild再次结束。此过程共产生一个yarnChild。
当处理两个文件时,我们通过jps查看进程会有四个YarnChild。我们通过job的监听器可以发现产生的map task共有4个。
下面探讨为何有4个map task :
当处理的数据文件的大小是参差不齐的即比如:200G,200k,200M这样的三个文件,在处理时若为每个文件都分配一个map,则会导致处理的效率降低。则会采取切片的策略,将大小不等的文件划分多个spilt,每个spilt分配一个map,接下来是切片的策略,在FileInputFormat:
1.对每个文件进行单独划片
2.将这个文件的每个block对应为一个split
可以通过查看产生的文件如:job.splitmetainfo文件或job.xml文件来查看划片的信息。
下面跟踪源码的信息:
仍然由waitForCompletion()方法进入,接着进入该方法的实现的submit()方法,进入submit()方法的submitJobInternal()方法,在该方法中 int maps = writeSplits(job, submitJobDir);这是写切片,进入writeSplits()方法中,查看其实现源码:
private int writeSplits(org.apache.hadoop.mapreduce.JobContext job,
Path jobSubmitDir) throws IOException,
InterruptedException, ClassNotFoundException {
JobConf jConf = (JobConf)job.getConfiguration();
//定义map的数量
int maps;
if (jConf.getUseNewMapper()) {
//进入writeNewSplits查看源码
maps = writeNewSplits(job, jobSubmitDir);
} else {
//进入writeOldSplits查看其源码
maps = writeOldSplits(jConf, jobSubmitDir);
}
return maps;
}
writeNewSplits()方法的源码:
private <T extends InputSplit>
int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,
InterruptedException, ClassNotFoundException {
Configuration conf = job.getConfiguration();
//拿InputFormat实例,并在下面调用getSplits()方法获得切片
InputFormat<?, ?> input =
ReflectionUtils.newInstance(job.getInputFormatClass(), conf);
//将获得的Split存放到list中 进入getSplits()方法中
List<InputSplit> splits = input.getSplits(job);
//将该list转化为数组
T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]);
// sort the splits into order based on size, so that the biggest
// go first
//对该数组进行排序
Arrays.sort(array, new SplitComparator());
JobSplitWriter.createSplitFiles(jobSubmitDir, conf,
jobSubmitDir.getFileSystem(conf), array);
//返回数组的长度就是切片的数目
return array.length;
}
进入FileInputFormat的getSplits()方法中:
public List<InputSplit> getSplits(JobContext job) throws IOException {
//计算切 片的大小
Stopwatch sw = new Stopwatch().start();
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
long maxSize = getMaxSplitSize(job);
// 创建list用来存放创建的切片
List<InputSplit> splits = new ArrayList<InputSplit>();
List<FileStatus> files = listStatus(job);
for (FileStatus file: files) {
Path path = file.getPath();
long length = file.getLen();
if (length != 0) {
BlockLocation[] blkLocations;
if (file instanceof LocatedFileStatus) {
//拿到切片的信息
blkLocations = ((LocatedFileStatus) file).getBlockLocations();
} else {
FileSystem fs = path.getFileSystem(job.getConfiguration());
blkLocations = fs.getFileBlockLocations(file, 0, length);
}
if (isSplitable(job, path)) {
long blockSize = file.getBlockSize();
//计算切片的大小
long splitSize = computeSplitSize(blockSize, minSize, maxSize);
long bytesRemaining = length;
while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
splits.add(makeSplit(path, length-bytesRemaining, splitSize,
blkLocations[blkIndex].getHosts()));
bytesRemaining -= splitSize;
}
if (bytesRemaining != 0) {
int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
//在此处将Splits添加进入该list中
splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
blkLocations[blkIndex].getHosts()));
}
} else { // not splitable
splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts()));
}
} else {
//Create empty hosts array for zero length files
splits.add(makeSplit(path, 0, length, new String[0]));
}
}
// Save the number of input files for metrics/loadgen
job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
sw.stop();
if (LOG.isDebugEnabled()) {
LOG.debug("Total # of splits generated by getSplits: " + splits.size()
+ ", TimeTaken: " + sw.elapsedMillis());
}
//返回该list
return splits;
}
总结:
MapReduce编程规范:
在集群里写一个mapper类,reducer类,集群会将代码封装到很多机器上运行。Map在处理每个文件时,会将文件切成split,每个split对应一个任务MaperTask.每个MaperTask是代码运行起来对应的进程。切片的策略是在FileInputFormat的组件中writeNewSplits()方法实现,在该方法中将所有split添加到List<split>中,每个split包含很多信息,将其划分split的策略写成文件,将splits解析成map()函数能处理的key/value对。map()函数处理结束后会产生另外一些key/value对,这些key/value对不会立刻的传给reduce()函数而是存放到Shuffle(缓存)中,MapReduce框架会根据key值自动进行聚类,且key值相同的数据会统一交个reduce()函数处理,reduce()函数会根据输入产生另外系列的key/value对,并作为最终的输出写入hdfs。
以上共涉及五个组件:
InputFormat、mapper、Partitioner、reducer、OutputFormat
在默认情况下只要定义map/reduce两个组件即可,此时为最为基本的,当项目要求有所改变时,可以通过自定义其他三个组件完成要求。