HDFS是Hadoop Distribute File System的简称,意为:Hadoop分布式文件系统,是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。他们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,他们为存储和处理超大规模数据提供所需的扩展能力。
HDFS使用Master和Slave结构对集群进行管理。一般一个HDFS集群只有一个NameNode和一定数目的DataNode组成。NameNode是HDFS集群主节点,DataNode是HDFS集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务。
HDFS集群包括:NameNode、SecondaryNameNode、DateNode
1.NameNode(Master)管理者
只负责管理,管理集群内各个节点,管理整个文件系统的元数据,以及每个路径(文件)所对应的数据块信息
2.SecontaryNameNode 辅助管理
只负责辅助NameNode管理工作,用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息
3.DataNode(Slave)工作者
管理用户的文件数据块,每一个数据块都可以在多个DataNode上存储多个副本。负责读取,写入数据;定期向NameNode发送心跳信息及状态