该博客详细介绍了Hadoop中`writeNewSplits`函数的工作原理，该函数将InputSplit分片信息写入到`job.split`和`job.splitmetainfo`文件。首先，通过`InputFormat`获取分片列表并排序，然后使用`createSplitFiles`函数将分片数据写入`job.split`，元数据写入`job.splitmetainfo`。此过程涉及对分片的大小排序、文件创建及信息写入等操作。
int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,
InterruptedException, ClassNotFoundException {
Configuration conf = job.getConfiguration();
InputFormat<?, ?> input =
ReflectionUtils.newInstance(job.getInputFormatClass(), conf);
List<InputSplit> splits = input.getSplits(job);//获得分片InputSplit
T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]);
// sort the splits into order based on size, so that the biggest
// go first
Arrays.sort(array, new SplitComparator());
JobSplitWriter.createSplitFiles(jobSubmitDir, conf,
jobSubmitDir.getFileSystem(conf), array);
return array.length;
}
该函数的作用是将所有分片（InputSplit）的信息写入到两个文件，job.split
和job.splitmetainfo文件中。由createSplitFiles函数完成核心功能。
所以
InterruptedException, ClassNotFoundException {
Configuration conf = job.getConfiguration();
InputFormat<?, ?> input =
ReflectionUtils.newInstance(job.getInputFormatClass(), conf);
List<InputSplit> splits = input.getSplits(job);//获得分片InputSplit
T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]);
// sort the splits into order based on size, so that the biggest
// go first
Arrays.sort(array, new SplitComparator());
JobSplitWriter.createSplitFiles(jobSubmitDir, conf,
jobSubmitDir.getFileSystem(conf), array);
return array.length;
}
该函数的作用是将所有分片（InputSplit）的信息写入到两个文件，job.split
和job.splitmetainfo文件中。由createSplitFiles函数完成核心功能。
所以
最低0.47元/天 解锁文章
扫一扫
883
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
