为什么HDFS中的块如此之大？

HDFS中的块大小默认为64MB，为什么说它如此之大，这是与磁盘块相比得出的。所以在了解HDFS块之前，我们需要了解下磁盘上的块。

磁盘块

每个磁盘都有默认的数据块大小，这是磁盘进行数据读写的最小单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍。文件系统块一般为几千字节，而磁盘块一般为512字节。文件系统块大小对于需要读写文件的文件系统用户来说是透明的。尽管如此，系统仍然提供了一些工具（如df和fsck）来维护文件系统，它们对文件系统中的块进行操作。

HDFS块

HDFS块也有块的概念，但是大得多，默认为64MB。与单一磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块（chunk），作为独立存储单元。但与其它文件系统不同的是，HDFS中小于一个块大小的文件不会占据整个块的空间。

为何HDFS中的块如此之大

HDFS的块比磁盘块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间可以明显大于定位这个块开始位置所需的时间。这样，传输一个由多个块组成的文件的时间取决于磁盘传输速率。
我们来做一个速算，如果寻址时间为10ms左右，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们需要设置块大小为100MB左右。而默认的块大小实际为64MB，但是很多情况下HDFS使用128MB的块设置。以后随着新一代磁盘驱动器传输速率的提升，块的大小将被设置得更大。
但是该参数也不会设置得过大。MapReduce中的map任务通常一次处理一个块中的数据，因此任务数太少（少于集群中的节点数量），作业的运行速度就会比较慢。