HDFS的一些常问问题

为什么HDFS的blocksize是128M？

磁盘的块大小为512byte，HDFS的块大小为128Mb，主要原因是为了减少磁盘的寻道时间。一次寻道大约需要10ms，目前市面上的千兆网卡速度为100Mb/s，寻道时间应该只占传输时间的1%，我们需要设置一块的大小为100M，因此设置块的大小为128M。

HDFS不适合的场景

1）低延迟的访问 HDFS在高吞吐量的数据传输上面做了很多优化，而这是以牺牲低延迟为代价的。
2）太多小文件 因为NameNode是在内存中保存文件的元数据的，因此能够存储的文件个数受内存大小的限制。每一个文件、目录和块都占用大约150byte，因此假设有100W个文件，每一个文件占一个块，那就需要大约300M的内存。