HDFS 联邦

HDFS联邦是一种解决内存受限和单点故障问题的策略,通过水平扩展支持多个NameNode,每个NameNode分管一部分目录,实现命名空间的独立。尽管引入了负载均衡和性能提升,但联邦并未完全消除单点故障,每个NameNode仍需要一个secondary NameNode以备恢复,并且负载均衡依赖于手动调整。
摘要由CSDN通过智能技术生成

解决内存受限问题:

  • HDFS Federation
  • 水平扩展,支持多个NameNode
  • 所有的NameNode 共享所有的DataNode存储资源
  • 每一个NameNode 分管一部分目录(block pool)

解决单点故障问题:

  • HDFS HA: 通过NameNode 解决
  • 如果 NameNode 发生故障,就切换到备用NameNode

联邦

联邦 HDFS 是 namenode 水平扩展方案。联邦 HDFS 允许每个 namenode之间的命名空间相互独立。数据块池不再切分,所以每个DataNode 需要注册到每个 namenode。
HDFS 的底层存储是可以水平拓展的(底层存储指的是 datanode,当集群存储 空间不够时,可简单的添加机器以进行水平拓展),但 namespace 不可以。 当前的 namespace 只能存放在单个 namenode 上,而 namenode 在内存中存储了整个分布式文件系统中的元数据信息,这限制了集群中数据块,文件和目录的数目。

  1. 多个 NN 共用一个集群 DN 的存储资源,每个 NN 都可以单独对外提供服 务。
  2. 每个 NN 都会定义一个存储池,有单独的 id,每个 DN 都为所有存储池提供存储。
  3. DN 会按照存储池 id 向其对应的 NN 汇报块信息,同时,DN 会向所有 NN汇报本地存储可用资源情况。
  4. 如果需要在客户端方便的访问若干个 NN 上的资源,可以使用客户端挂载表,把不同的目录映射到不同的 NN,但 NN 上必须存在相应的目录。</
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值