hdfs特点

HDFS文件系统

1.HDFS特点

1. HDFS文件系统可存储超大文件

每个磁盘都有默认的数据块大小，这是磁盘在对数据进行读和写时要求的最小单位，文件系统是要构建于磁盘上的，文件系统也有块的逻辑概念，通常使磁盘块的整数倍。

HDFS是一种文件系统，自身也有块（block）的概念，其文件块大小要比普通单一磁盘上文件系统大得多，1.x默认为64MB，2.x默认为128MB。

HDFS中块（block）的大小为什么设置为128M？

1.HDFS中平均寻址时间大概为10ms

2.经过前人的大量测试发现，寻址时间为传输时间的1%时，为最佳状态

所以最佳传输时间为10ms/0.01=1000ms=1s

3.目前磁盘的传输速率普遍为100MB/s

计算出最佳block大小：100MB/s x 1s = 100MB

所以设定为128MB

在实际工业生产中，若磁盘传输速率为200MB/s时，一般设定block大小为256MB，

若磁盘传输速率为400MB/s时，一般设定block大小为512MB

2. 一次写入，多次读取

一个文件经过创建、写入和关闭之后就不需要改变，这个假设简化了数据一致性的问题，同时提高数据访问的吞吐量。

3. 运行在普通廉价的机器上

Hadoop的设计对硬件要求低，无需昂贵的高可用性机器上，因为在HDFS设计中充分考虑到了数据的可靠性、安全性和高可用