Hadoop - HDFS

HDFS  Hadoop Distributed File System  Hadoop分布式文件系统(HDFS)

HDFS的优点

适合大数据处理：可处理TB甚至GB级数据量、10K+节点数。

高容错性：数据保存多个副本，且副本丢失后自动恢复。

可构建在廉价的机器上

HDFS的缺点

不适合低延迟数据访问：要处理的数据量非常大，处理需要一定的时间。

无法高效存储大量小文件

大量小文件会占用HDFS过多内存。

当出现大量小文件时，应压缩，整体作为一个文件进行存储。

不支持多用户写入和任意修改文件

Client  向NameNode发送访问请求：读写改删

NameNode (NN)  处理Client请求，并把请求转发给DataNode，然后由Client访问DataNode。

DataNode

DataNode将数据存放在磁盘上，DataNode存储的数据是数据块。

相同颜色的数据块是同一个数据在不同DataNode上的副本。

Bolck

数据块默认大小是64MB

文件都是先被分为块，再分到不同的节点上。

每一个数据块默认有3个副本

数据块大小和副本个数可以在Client上传文件时设置，上传成功后副本数可改变，数据块大小不可改变。