设置 切片 大小

<!-- mapred-site.xml -->

<!-- 最小切片大小 -->
<property>
  <name>mapreduce.input.fileinputformat.split.minsize</name>
  <value>0</value>
</property>

<!-- 最大切片大小 -->
<property>
  <name>mapreduce.input.fileinputformat.split.maxsize</name>
  <value>0</value>
</property>

 

block （块） hdfs

块大小必须是512的倍数，不能小于512

因为512是校验和checknum大小，每512字节校验一下

 

split 切片 mapreduce任务

取 minsize maxsize blocksize 中间值

默认minsize=1 maxsize=long.max blocksize=128M

 

切片数量决定map任务数量