上篇关于job提交的源码分析中我们将整体流程大概分析了,本篇重点分析关于其中submit提交过程中对于文件的切片机制进行讨论
在JobSubmitter类中200行左右进行了文件分片的处理,进入其中
再进入主要的writeNewSplits()方法
没有配置的情况下,默认是TextInputFormat,此时调用的是其继承与父类FileInputFormat的getSplits()方法
其中具体获取最大值、最小值的方法如下图
在切片中最重要的就是如下核心代码:
实际读取数据是重写了父类的方法
以上就是全部切片的源码分析了,如果有什么问题和建议欢迎在评论区留言