Hadoop分布式文件系统HDFS

参考博客

还不懂HDFS的工作原理？快来扫扫盲
HDFS中的Namenode和Datanode
HDFS概述（2）————Block块大小设置
HDFS详解

目录

• HDFS体系结构的组成
• HDFS特点
• HDFS存储原理
• 常用命令
• 需要注意的问题

HDFS结构的组成

HDFS体系结构中有两类节点，一类是NameNode，又叫”元数据节点”；另一类是DataNode，又叫”数据节点”。这两类节点分别承担Master和Worker具体任务的执行节点。

• NameNode，元数据节点

元数据节点用来管理文件系统的命名空间
其将所有的文件和文件夹的元数据保存在一个文件系统树中。
这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace image)及修改日志(edit log)

其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。
Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，因为这些信息会在系统启动时从数据节点重建。

Namenode结构图课抽象为如图：

VERSION文件是java properties文件，保存了HDFS的版本号。

• Datanode，数据节点

数据节点是文件系统中真正存储数据的地方。

客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者读出数据块。

其周期性的向元数据节点回报其存储的