大数据面试之HDFS副本机制

HDFS视硬件错误为常态，硬件服务器随时有可能发生故障。

        为了容错，文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。

       数据副本默认保存三个副本，我们可以更改副本数以提高数据的安全性

        在hdfs-site.xml当中修改dfs.replication配置属性，即可更改文件的副本数

低版本Hadoop副本节点选择

             第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

             第二个副本和第一个副本位于不相同机架的随机节点上。

             第三个副本和第二个副本位于相同机架，节点随机。

Hadoop2.7.2副本节点选择

          第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

         第二个副本和第一个副本位于相同机架，随机节点。

         第三个副本位于不同机架，随机节点。

小知识

   问: 如果有5个副本会怎样放?    

        答: 超过3个副本多余的副本则会随机放。

公众号：大数据面试宝典 修改简历，面试辅导，回复888领取面试宝典资料