Hadoop中的MapReduce框架原理、切片源码断点在哪断并且介绍相关源码、FileInputFormat切片源码解析、总结，那些可以证明你看过切片的源码

本文链接：https://blog.csdn.net/Redamancy06/article/details/126527995

文章目录

13.MapReduce框架原理
- 13.1InputFormat数据输入
- - 13.1.3FileInputFormat切片源码解析

13.MapReduce框架原理

13.1InputFormat数据输入

13.1.3FileInputFormat切片源码解析

13.1.3.1切片源码断点在哪断并且介绍相关源码：

断点在https://blog.csdn.net/Redamancy06/article/details/126501627?spm=1001.2014.3001.5501
这篇文章写了一部分了，可以先跟着上篇文章做，然后再看这篇文件就好理解了。

在这里插入图片描述一直运行到这一步然后强制进入。
在这个位置打上断点，然后再断点处强行进入

在这里插入图片描述进去后在这两个地方打上断点

在这里插入图片描述然后进入这个断点
就到FileInputFormat类里面了

在这里插入图片描述然后一直往上翻到最上面，点这个按下f4，就可以出现继承关系(type hierarchy)

在这里插入图片描述

红色框住的是最常用的
TextInputFormat是默认的按行切
CombineTextInputFormat把多个小文件放到一起统一的进行切割
还有两个不经常用的
NLineInputFormat按行进行切割
KeyValueTextInputFormat

在这里插入图片描述
我是设置过的，参考的尚硅谷的java课程，有兴趣的可以看下我之前的博客，或者你在设置里面全部快捷键里搜一下type hierarchy
就可以知道你的快捷键是什么了

https://blog.csdn.net/Redamancy06/article/details/126134561

在这里插入图片描述这里minSize获取的是1,1是怎么来的，可以看getFormatMinSplitSize这个和getMinSplitSize方法

在这里插入图片描述 getFormatMinSplitSize方法他是返回的是1，

在这里插入图片描述他这个值是由mapreduce.input.fileinputformat.split.minsize这个值来决定

这个参数去mapred-default.xml里面找

在这里插入图片描述

<property>
  <name>mapreduce.input.fileinputformat.split.minsize</name>
  <value>0</value>
  <description>The minimum size chunk that map input should be split
  into.  Note that some file formats may have minimum split sizes that
  take priority over this setting.</description>
</property>

这里的值默认是0
所以minSize的值取1

在这里插入图片描述
maxSize没有获取到，是为什么呢，进入getMaxSplitSize方法里面看看

在这里插入图片描述他的值是由mapreduce.input.fileinputformat.split.maxsize这个值决定
在mapred-default.xml里面mapreduce.input.fileinputformat.split.maxsize是找不到的，如果找不到，则会返回long的最大值，

在这里插入图片描述这里开始循环变量输入的个数，这里可以说明是一个文件一个文件的切片

在这里插入图片描述这里可以看出来文件地址，和文件大小

在这里插入图片描述

然后继续往下走到这里，isSplitable是检查是否支持切片，如果是压缩文件就不支持切片

在这里插入图片描述
然后再往下走到这里，blockSize是块的大小为32m，因为是在本地，所以他是32m

在这里插入图片描述然后再往下走，splitSize是切片大小，他也是32m，是怎么来的，进入computeSplitSize方法看看

因为minSize为1，maxSize为long 的最大值，blockSize是32，所以切片的大小与minSize和maxSize有关，可以通过调整这两个的值来改变切片的大小