HDFS节点距离计算

在HDFS写数据的过程中,NameNode会选择距离待上传最近距离的DataNode接收数据。最近距离的值为两个节点共同祖先的距离总和。
在这里插入图片描述

机架感知

第一个副本在客户端所处的节点上,如果客户端在节点外,随机选一个。

第二个副本在另一个机架的随机一个节点上,位于和第一个节点相同的框架,框架中的随机节点。

第三个副本位于相邻的随机机架里的随机节点

对于以上机架感知,需要考虑的因素如下:

1:对于第一个副本选择本地机架,距离近,上传速度快。

2:第二个副本选择远程机架的随机节点,保证数据可靠性。

3: 第三个副本选择第二个副本所在机架的随机节点,同时兼顾可靠性和效率。

N1
N2
N3
N1
N2
N3
N1
N2
N3
N1
N2
N3
N1
N2
N3
集群
D1
D2
R1
R2
R3
R1
R2
R3
N1
N2
N3

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值