HDFS的基本原理

HDFS 架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。Namenode管理文件系统的元数据，而Datanode存储了实际的数据。
一.NameNode概述
1.NameNode是HDFS的核心
2.NameNode也称为Master。
3.NameNode仅存储HDFS的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件。
3.NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。
4.NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息 NameNode知道如何从块中构建文件。
5.NameNode并不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息会在系统启动时从数据节点重建。
6.NameNode对于HDFS至关重要，当NameNode关闭时，HDFS / Hadoop集群无法访问。
7.NameNode是Hadoop集群中的单点故障。
8.NameNode所在机器通常会配置有大量内存（RAM）。
二. DataNode概述
1.DataNode负责将实际数据存储在HDFS中。
2.DataNode也称为Slave。
3.NameNode和DataNode会保持不断通信。
4.DataNode启动时，它将自己发布到NameNode并汇报自己负责持有的块列表。
5.当某个DataNode关闭时，它不会影响数据或群集的可用性。NameNode将安排由其他DataNode管理的块进行副本复制。
6.DataNode所在机器通常配置有大量的硬盘空间。因为实际数据存储在DataNode中。
7.DataNode会定期（dfs.heartbeat.interval配置项配置，默认是3秒）向NameNode发送心跳，如果NameNode长时间没有接受到DataNode发送的心跳， NameNode就会认为该DataNode失效。
8.block汇报时间间隔取参数dfs.blockreport.intervalMsec,参数未配置的话默认为6小时.
三.HDFS的工作机制
NameNode负责管理整个文件系统元数据；DataNode负责管理具体文件数据块存储；Secondary NameNode协助NameNode进行元数据的备份。
HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向NameNode申请来进行。