分布式文件系统(HDFS)的高可靠性主要是由多种策略及机制共同作用实现的。
主要有:
冗余副本策略
可以指定数据文件的副本数量,默认是3;
保证所有的数据块都有副本,不至于在一个datanode宕机后,数据的丢失。
机架策略
集群一般放在不同机架上,机架间带宽要比机架内带宽要小;
HDFS具有“机架感知”能力,它能自动实现在本机架上存放一个副本,然后在其它机架再存放另一副本,这样可以防止机架失效时数据丢失,也可以提高带宽利用率。
心跳机制
Namenode周期性从datanode接收心跳信号和块报告,Namenode根据块报告验证元数据;
Namenode对没有
Namenode对没有