Federation即为“联邦”,该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务,这些NameNode分管一部分目录(水平切分),彼此之间相互隔离,但共享底层的DataNode存储资源。
在hadoop1.x中HDFS的架构
文件的存储是放在块上的(Block Storage)
文件的元数据是放在namenode上的,只有一个Namespace(命名空间)。随着HDFS的数据越来越多,单个namenode的资源使用必然会达到上限,而且namenode的负载能力也会越来越高,限制HDFS的性能。
hdfs主要有两层架构:
1.命名空间(namespace)
由目录、文件、块组成。
支持创建、删除、修改、列举命名空间相关系统的操作。
2.块的存储
管理Block(在datanode中的完成)
通过控制注册以及阶段性的心跳,来保证datanode的正常运行。
运行块的信息报该哦啊,维护块的位置信息。
创建、删除、修改、查询块。
管理副本和副本位置
存储:提供对块的读写(由namenode提供)
单namenode架构的局限性
1.NameSpace(命名空间的限制)
由于Namenode再内存中存储所有的元数据(