FileInputFormat切片源码解析(input.getSplits(job))
- 程序先找到数据存储的目录
- 开始遍历处理(规划切片)目录下的每一个文件
- 遍历第一个文件ss.txt
a) 获取文件大小fs.sizeOf(ss.txt)
b)计算切片大小
computeSpliteSize(Math.max(minSize, Math.min(maxSize, blocksize))) = blocksize = 128M
minSize是1,blocksie是128M,maxSize是long的最大值
c)默认情况下,切片大小=blocksize
(本地模式块大小32M,yarn模式128M,老的版本64M)
d)开始切,形成第一个切片,0-128M第一个切片 128-256M第二个切片
(每次切片时,都要判断切完剩下的部分是否大于块的1.1倍,不大于1.1倍就只划分为一块切片,大于1.1倍则多划分出一个切片)
(比如129M的文件,需要两个快来存储,却只需要划分为一个切片)
e)将切片信息写到一个切片规划文件中
f)整个切片的核心过程在getSplit()方法中完成
g)InputSplit只记录了切片的元数据信息,比如起始位置、长度以及所在的节点列表等 - 提交切片规划文件到YARN上,YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数(MapTask个数是由MrAppMaster决定的)