xiweihao的博客

1.hdfs中的块为什么这么大？ 电脑磁盘都有默认的数据块大小，这是磁盘进行读写的最小单位。 hdfs同样也有块的概念，默认是128MB。 hdfs存储的数据是密集型的，例如一个块里面的数据只有1M不会占用一个块的大小。hdfs块比磁盘块大是为了最小化的寻址时间开销，如果块足够大，磁盘的寻址时间明显小于磁盘的传输时间。因而传输一个由多个块组成的大文件取决于磁盘的传输时间。 例如：磁盘的寻址时间是10ms,传输速率为100MB/S,为了使寻址时间占用传输时间的1%，那么一个块的大小是1...