Hadoop之block切片

切片是一个逻辑概念 在不改变现在数据存储的情况下，可以控制参与计算的节点数目 通过切片大小可以达到控制计算节点数量的目的 有多少个切片就会执行多少个Map任务

hdfs上数据存储的一个单元,同一个文件中块的大小都是相同的
因为数据存储到HDFS上不可变，所以有可能块的数量和集群的计算能力不匹配 我们需要一个动态调整本次参与计算节点数量的一个单位,因此引入了切片的逻辑概念

切片的默认大小是与block块的大小相同,

查看源码分析

源码中FileInputFormat组件中的getSplits方法

minsize和maxsize分别获取切片的最大值和最小值

获取最小值

long minSize = Math.max (getFormatMinSplitSize(),getMinSplitsize(job));

getFormatMinSplitSize() =1

其中配置文件中SPLIT_MINSIZE没有进行设置,默认值为1,因此getMinSplitsize(job)=1
那么可以得到long minSize= Math.max(1,1),即最小值为1;

获取最大值

long maxSize= getMaxSplitSize(job);

与SPLIT_MINSIZE一样,配置文件中没有对SPLIT_MAXSIZE进行设置,而Long.MAX_VALUE即Long的最大值9223372036854775807L为
maxSize=9223372036854775807L
因此long maxSize= 9223372036854775807L

long blockSize = file.getBlockSize();block块的默认大小为128MB
long splitSize = computeSplitSize(blockSize,minSize, maxSize);其中三个参数的默认值分别为128MB , 1 , Long最大值

computeSplitSize源码如下

Math.max(minSize, Math.min(maxSize, blockSize))
根据以上源码可以得知.
minSize= 1
Math.min=128MB
返回值为较大值128,因此切片的默认大小为128MB

设置切片大小

可以使用如下方法进行设置

注意事项

根据上面源码返回的值可以得知在设置时需要注意:
由于block块即blockSize的默认大小为128MB,如果要设置切片大小小于128MB时,将值赋给minSize=64,如下:
Math.max(64,Math.min(1,128))
会发现此时切片大小设置失败仍然为默认值128MB,同理将切片大小调整大于128MB时赋值给maxSize也会设置失败
因此在在设置时:
1、如果需要将切片大小调整小于128MB,需要赋值给maxSize
2、如果需要将切片大小调整大于128MB,则需要赋值给minSize
如果记不清楚在实践时可以同时赋值给maxSize和minSize`