HDFS文件块大小的设置建议

HDFS文件块的大小不能设置太大，也不能设置太小。

寻址时间若为10ms，即查找到目标block的时间为10ms。

寻址时间为传输时间的1%时，为最佳状态。

那么传输时间=10ms/1%=1000ms=1s

 

目前市面上磁盘普通传输速率100MB/s，那block设置为128MB，

1s*100MB/s=100MB

如果是固态硬盘300MB/s，那block设置  应参考1s*300MB/s=300MB， 则设置为256MB。（因为大小要为2的n次方，选择最靠近即可）