Hadoop旧版中InputSplit的个数由下面三个参数决定:
goalSize:totalSize/numSpilt.totalSize为文件大小,numSplit为用户设定的map task个数,默认为1.
minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.
blockSize:HDFS中块的大小.
splitSize = max(minSize,min(goalSize,blockSIze))
新版:
maxSize:由配置参数mapred.max.split.size确定,已经不再考虑用户设定的map task个数.
minSize:InputSplit的最小值,由配置参数 mapred.min.split.size,默认为1.
blockSize:HDFS中块的大小.
splitSize = max(minSize,min(maxSize,blockSIze))
本文详细介绍了Hadoop中InputSplit的计算机制,包括旧版与新版的区别。旧版中InputSplit的数量受goalSize、minSize及blockSize的影响;新版则主要考虑maxSize、minSize及blockSize。

被折叠的 条评论
为什么被折叠?



