对于框架/工具来说,最好的学习和参考来源还是官网。
链接:https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Introduction
HDFS:Hadoop 分布式文件系统,用于为有大量数据集的application提供高速数据访问,将数据以高容错的方式部署在众多廉价机器组成的集群上。
HDFS架构
HDFS的架构为 master/slave 结构(architecture),master以NameNode表示,slave以DataNode表示。
NameNode
NameNode是一个主服务器(master server),用于管理文件系统空间( file system namespace)与客户端(client)对这些文件的访问。
DataNode
DataNode是从属节点,通常集群上的一台机器为一个节点,属于slave的为DataNode,用于管理分配到该节点上的数据。
HDFS对外暴露一个文件系统空间,让使用者以文件的形式存储数据,一个文件会被分割成多个块(block)存储在不同的DataNode,而NameNode用于管理和操作这个文件系统空间,执行诸如读写文件这样的操作,同时NameNode也管理block如何分配到DataNode。NameNode响应cli