Hadoop机架感知策略

My Blog: Hadoop机架感知策略
官方文档： http://hadoop.apache.org/docs/ 找到对应的版本号/Rack Awareness一栏

网络拓扑概念

在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。

节点距离： 两个节点到达最近的共同祖先的距离总和。

例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。

Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程）

Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）

Distance(/d1/r1/n1, /d1/r3/n2)=4（同一数据中心不同机架上的节点）

Distance(/d1/r1/n1, /d2/r4/n2)=6（不同数据中心的节点）

机架感知（副本节点选择）

默认共保存3份

低版本Hadoop副本节点选择

• 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
• 第二个副本和第一个副本位于不相同机架的随机节点上。
• 第三个副本和第二个副本位于相同机架，节点随机。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-umxiLQS0-1578747033475)(/upload/2019/1/低版本副本选择20190203150414101.png)]

Hadoop2.7.2副本节点选择

• 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
• 第二个副本和第一个副本位于相同机架，随机节点。
• 第三个副本位于不同机架，随机节点。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6O4NCwrw-1578747033477)(/upload/2019/1/2.7.2副版本选择2019020315070743.png)]