一、HDFS重要特性
- 首先他是一个文件系统,用于存储文件,通过同意的命名空间目录树来定位文件
- 其次,它是分布式的,由很多服务器联合起来实现其功能,器群中的服务器有个字的角色
1.1、master/slave架构
-
HDFS采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成
-
Namenode是HDFS集群主节点,Datanode是HDFS集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务
1.2、分块存储
HDFS中的文件在物理上是分块存储(block)的,块的大小可以通过配置参数来规定,默认大小在dadoop2.x版本中是128M
1.3、名字空间(NameSpace)
- HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件
- Namenode负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都会被Namenode记录下来
- Hdfs会给客户端提供一个统一的抽象目录树,客户端通过路径来访问文件,例如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data