HDFS- 副本存放策略

副本放置策略 也叫做副本选择策略,这源于此策略的名称( BlockPlacementPolicy).所以这个策略类重在block placement.这切实关系到 HDFS 的可依赖性与表现,并且经过优化的副本放置策略也使得 HDFS 相比其他分布式文件系统具有优势。
先来看下这个策略类的功能说明:

This interface is used for choosing the desired number of targets for placing block replicas.

在大部分的实际案例中,当复制因子是 r = 3 时,HDFS 的放置策略是将一个复制品放置到写入器操作的 DataNode中,第二个复制品放置到另一个远程机架上的一个节点中,然后最后一个复制品则放置同一个远程机架的不同物理节点中。如图
TU1
橙色区域表示的就是writer写请求者,绿色区域就是1个副本.从这里可以看出HDFS在容错性的设计上还是做了很多的思考的.

简要概况起来3点:

  • 1st replica. 如果写请求方所在机器是其中一个datanode,则直接存放在本地,否则随机在集群中选择一个datanode.
  • 2nd replica. 第二个副本存放于不同第一个副本的所在的机架.
  • 3rd replica.第三个副本存放于第二个副本所在的机架,但是属于不同的节点.

优点

这种放置策略可以有效的减少机架之中的通信以提高系统的表现。因为不同机架的物理节点的通信需要通过交换机,而在大多数情况下,同一机架中的计算机之间的网络带宽大于不同机架中的计算机之间的网络带宽。

如果复制因子大于3,则随机确定第4个及以后副本的放置,同时保持每个机架的副本数量低于上限。

上限数一般为(副本数-1)/ 机架 + 2

由于 NameNode 不允许 DataNode 具有同一块的多个副本,因此,能创建的最大副本数是此时 DataNode 的总数。

当有客户端请求读取时,HDFS 为了最小化全局带宽消耗与读取延迟,会优先选择离读取客户端最近的数据副本。

参考链接

HDFS副本放置策略

网络拓扑

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

piepis

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值