HDFS文件块的大小不能设置太大,也不能设置太小。
寻址时间若为10ms,即查找到目标block的时间为10ms。
寻址时间为传输时间的1%时,为最佳状态。
那么传输时间=10ms/1%=1000ms=1s
目前市面上磁盘普通传输速率100MB/s,那block设置为128MB,
1s*100MB/s=100MB
如果是固态硬盘300MB/s,那block设置 应参考1s*300MB/s=300MB, 则设置为256MB。(因为大小要为2的n次方,选择最靠近即可)
HDFS文件块的大小不能设置太大,也不能设置太小。
寻址时间若为10ms,即查找到目标block的时间为10ms。
寻址时间为传输时间的1%时,为最佳状态。
那么传输时间=10ms/1%=1000ms=1s
目前市面上磁盘普通传输速率100MB/s,那block设置为128MB,
1s*100MB/s=100MB
如果是固态硬盘300MB/s,那block设置 应参考1s*300MB/s=300MB, 则设置为256MB。(因为大小要为2的n次方,选择最靠近即可)