Hadoop MR中的 InputFormat and InputSplit

前言：
在MapReduce中Map的数量与InputSplit数量相等，想要改变一个job的Map任务数要从InputSplit的数目和大小出发，而InputSplit是由InputFormat生成的，两者的关系如下图：

InputSplit

• InputSplit包含一个以字节为单位的长度和一组存储位置（一组主机名）。
• 一个InputSplit由一个Map任务来处理。
• InputSplit并不包含数据本身，而是指向数据的引用。
• InputSplit是由记录（record，key-value pair）组成。
  MapReuce应用开发人员不必直接处理InputSplit，因为它是由InputFormat创建的，InputFormat负责创建输入分片并将它们分割成记录

InputFormat

InputFormat类负责将存储在HDFS上的不同格式的输入文件调用getSplits()分割成InputSplit，并且提供了用于Map()函数读取记录的createRecordReader()方法；

• InputFormat的类型
  

• FileInputFormat
  如何设置分片大小？
  影响分片大小的属性有：

mapreduce.input.fileinputformat.split.minsize
mapreduce.input.fileinputformat.split.maxsize
dfs.blocksize

分片大小的计算公式为：
max(minimumSize, min(maximumSize, blockSize))
在默认情况下：
minimumSize < blockSize < maximumSize，因此默认情况下分片大小就是文件块大小

更多内容可关注本人博客：老香椿（https://laoxiangchun.cn/）