HDFS1.0知识点总结
1. HDFS概述
在了解HDFS之前有必要先了解一下Hadoop,Hadoop是一个分析处理大数据,基于Java语言实现的一个开源的分布式的计算框架,用于实现海量数据的分布式计算。而HDFS则是一个Hadoop集群上到了可存储大容量数据的文件系统,为整个Hadoop生态圈提供基础的存储服务。
HDFS是一个主从(Master/Slave)体系架构的文件系统,主要有三个组件组成,分别是NameNode、SecondaryNameNode和DataNode,其作用分别为:
- NameNode:名字节点,扮演者中心服务器的角色,管理存储和检索多个datanode的元数据。
- SecondaryNameNode:用于保存HDFS的元数据信息,比如命名空间信息、块信息等,不是namenode的备份,用于定期获取namenode上的edit logs,并更新到fsimage上,一旦检测到有新的fsimage,它会将新的fsimage更新到namenode上。
- DataNode:数据节点,在文件系统中中有多个,真正存储数据的地方,在namenode的统筹调度下对数据块进行创建、删除和复制等操作,为文件系统客户端提供数据块的读写服务,并通过心跳机制定期向namenode报告文件块信息。
以下为HDFS框架