public List<InputSplit> getSplits(JobContext job) throws IOException {
//记录分片过程的开始时间
StopWatch sw = (new StopWatch()).start();
//指定split最小容量,如果没有指定,默认是1L
long minSize = Math.max(this.getFormatMinSplitSize(), getMinSplitSize(job));
//获取split最大容量,,如果,没有指定,默认是Long.MAX_VALUE
long maxSize = getMaxSplitSize(job);
//用于存储切片
List<InputSplit> splits = new ArrayList();
//获取文件状态
List<FileStatus> files = this.listStatus(job);
Iterator i$ = files.iterator();
while(true) {
while(true) {
while(i$.hasNext()) {
FileStatus file = (FileStat
Hadoop的FileInputFormat.getSplits()方法的解析
最新推荐文章于 2022-04-29 17:20:08 发布