【Hadoop】HDFS数据复制

为了保证存储文件的可靠性，HDFS把文件分解成多个序列块，并保存数据块的多个副本。这对容错非常重要，当文件的一个数据块损坏时，可以从其他节点读取数据块副本。

HDFS有“机架感知”策略放置文件副本，因为同一机架的带宽大于跨机架的带宽，所以在一个复制因子默认为3的系统中，HDFS会把备份一份保存在本地节点，另外一份保存在同一机架的其他节点，最后一份保存在其他机架节点，这样既保证了文件安全性，又能提高写入和读取的速率（只需跨两个机架）。文件的副本数最大为DataNode节点数，并且同一个节点只能存放同一文件的一个副本。每个机架的最大副本数要低于上限值，上限值的计算公式为：（（副本数-1）/（机架数+2））取整。

NameNode会在每次启动后进入安全模式，当处于安全模式中，NameNode不会进行数据块复制。此时NameNode接收DataNode的心跳和块报告信息。块报告中包含此DataNode的所有块列表，每个数据块有一个特定的副本数，当数据块达到最小副本数时，NameNode认为此数据块是复制安全的。当检测到复制安全的数据块达到一定比例（由dfs.safemode.threshold.pct参数指定）30秒后，NameNode退出安全模式。然后NameNode会确定一个没有达到最小副本数的数据块列表，并将这些数据块复制到其他DataNode节点，直至达到最小副本数。