HDFS副本机制

  • 为什么要出现HDFS?
    • 首先要说起hdfs的由来,hdfs由谷歌最先研发,其需求是单独一台计算机所能存储的空间是有限的,而随着计算机存储空间的加大,其价格是呈几何倍的增长,所以就有了hdfs的产生,hdfs架构在相对廉价的计算机上,以分布式的方式,这样想要扩大空间只要增加集群的数量就可以
  • 为什么hdfs需要副本机制?

    • 在上个问题的时候,我说过我们需要的是大量相对廉价的计算机,那么宕机就是一种必然事件,我们需要让数据避免丢失,就只有采取冗余数据存储,而具体的实现就是副本机制
  • 这是副本机制的官网图解

这是官网对于HDFS副本机制的描述
地址:http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

  • 三副本机制详解(三个以上的随机存储)
    第一副本:如果上传节点是DN,则上传该节点;如果上传节点是NN,则随机选择DN
    第二副本:放置在不同机架的DN上
    第三副本:放置在与第二副本相同机架的不同DN上
  • 副本机制的作用
    • 极大程度上避免了宕机所造成的数据丢失(除非命不好)
    • 可以在数据读取时进行数据校验
  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值