简单搞定FileInputFormat切片机制

1 FileInputFormat切片机制

1）job提交流程源码详解

waitForCompletion()

submit();

// 1建立连接

       connect();      

             // 1）创建提交job的代理

             new Cluster(getConfiguration());

             // （1）判断是本地yarn还是远程

               initialize(jobTrackAddr, conf);

       // 2 提交job

submitter.submitJobInternal(Job.this, cluster)

       // 1）创建给集群提交数据的Stag路径

       Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);

       // 2）获取jobid ，并创建job路径

       JobID jobId = submitClient.getNewJobID();

       // 3）拷贝jar包到集群

copyAndConfigureFiles(job, submitJobDir);      

       rUploader.uploadFiles(job, jobSubmitDir);

// 4）计算切片，生成切片规划文件

writeSplits(job, submitJobDir);

       maps = writeNewSplits(job, jobSubmitDir);

        input.getSplits(job);

// 5）向Stag路径写xml配置文件

writeConf(conf, submitJobFile);

       conf.writeXml(out);

// 6）提交job,返回提交状态

status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());

2 FileInputFormat源码解析

（1）找到你数据存储的目录。

    （2）开始遍历处理（规划切片）目录下的每一个文件

        （3）遍历第一个文件ss.txt

              a)获取文件大小fs.sizeOf(ss.txt);

              b)计算切片大小computeSliteSize(Math.max(minSize,Math.max(maxSize,blocksize)))=blocksize=128M

              c)开始切，形成第1个切片：ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）

              d)将切片信息写到一个切片规划文件中

              f)整个切片的核心过程在getSplit()方法中完成。

       （4）提交切片规划文件到yarn上，yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数。

3）FileInputFormat中默认的切片机制：

（1）简单地按照文件的内容长度进行切片

（2）切片大小，默认等于block大小

（3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

比如待处理数据有两个文件：

file1.txt    320M file2.txt    10M

经过FileInputFormat的切片机制运算后，形成的切片信息如下：

file1.txt.split1--  0~128 file1.txt.split2--  128~256 file1.txt.split3--  256~320 file2.txt.split1--  0~10M

4）FileInputFormat切片大小的参数配置

（1）通过分析源码，在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize)); 

切片主要由这几个值来运算决定

mapreduce.input.fileinputformat.split.minsize=1 默认值为1

mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue

因此，默认情况下，切片大小=blocksize。

maxsize（切片最大值）：参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。

minsize （切片最小值）：参数调的比blockSize大，则可以让切片变得比blocksize还大。

（2）选择并发数的影响因素：

a）运算节点的硬件配置

b）运算任务的类型：CPU密集型还是IO密集型

c）运算任务的数据量

5 ）获取切片信息 API

// 根据文件类型获取切片信息 FileSplit inputSplit = (FileSplit) context.getInputSplit(); // 获取切片的文件名称 String name = inputSplit.getPath().getName();