HDFS学习 笔记 关于 HDFS网络拓扑概念及机架感知（副本节点选择）

HDFS网络拓扑概念及机架感知（副本节点选择）

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和。

例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。

Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程）

Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）

Distance(/d1/r1/n1, /d1/r3/n2)=4（同一数据中心不同机架上的节点）

Distance(/d1/r1/n1, /d2/r4/n2)=6（不同数据中心的节点）

 

一条线距离就是1，例如N1到N1没有线，节点距离就是零（Distance(/d1/r1/n1, /d1/r1/n1)=0），N1到N2两条线，节点距离就是2（记为Distance(/d1/r1/n1, /d1/r1/n2)=2）

机架感知（副本节点选择）

机架感知说明

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

For the common case, when the replication factor is three, HDFS’s placement policy is to put one replica on one node in the local rack, another on a different node in the local rack, and the last on a different node in a different rack.

 

3）Hadoop2.7.2副本节点选择【重要】

第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

       第二个副本和第一个副本位于相同机架，随机节点。（第二副本与第一副本距离更近）

       第三个副本位于不同机架，随机节点。