1、一个1G的文件,会产生多少个map任务?
Block块默认是128M,所以1G的文件会产生8个Block块
默认情况下InputSplit的大小和Block块的大小一致,每一个InputSplit会产生一个map任务
所以:1024/128=8个map任务
2、1000个文件,每个文件100KB,会产生多少个map任务?
一个文件,不管再小,都会占用一个block,所以这1000个小文件会产生1000个Block,
那最终会产生1000个InputSplit,也就对应着会产生1000个map任务
一个140M的文件,会产生多少个map任务?
根据前面的分析
3、140M的文件会产生2个Block,那对应的就会产生2个InputSplit了?
注意:这个有点特殊,140M/128M=1.09375<1.1
所以,这个文件只会产生一个InputSplit,也最终也就只会产生1个map 任务。
这个文件其实再稍微大1M就可以产生2个map 任务了。