HDFS数据块大小设计策略

默认大小：

HDFS中的文件在物理上是分块存储(block)，默认大小在hadoop2.x版本中是128M，老版本中是64M。

为什么是64/128M?：

原因：
文件块越大，分割数越少，寻址时间越短，但磁盘传输时间越长；
文件块越小，分割数越多，寻址时间越长，但磁盘传输时间越短；
寻址时间：HDFS中找到目标文件块（block）所需要的时间。

目的：尽可能保持使寻址时间仅占传输时间的1%
如果寻址时间约为10ms，而传输速率为100MB/s
我们要将块大小设置约为100MB。默认的块大小128MB。
块的大小：10ms*100*100M/s = 100M

建议:
随着磁盘的IO性能越来越好，块的大小设置可以进一步增加，块的大小可以进一步增加256MB甚至是512

测试IO
测试IO的大小可以参考文章：
PS:块的大小影响计算的并行度和namenode的压力，块太小，namenode记录的信息太多，块太大map的任务就少，一定程度上影响计算的并行度

相关参数：

<!--设置为256M -->
<property>
  <name>dfs.block.size</name>
  <value>256000000</value>
</property>