在海量数据处理中,其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法:把网络看作一棵树,两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的,但是相对于数据中心、机架、正在运行的节点,通常可以设定等级。具体想法是针对以下场景,可用带宽依次递减:
1) 同一节点上的进程,网络自循环,距离为0,带宽最强
2) 同一机架上的不同节点,距离为2
3) 同一数据中心中不同机架上的节点,距离为4
4) 不同数据中心中的节点,距离为6
Hadoop 不适合跨数据中心运行。第一个副本在client所处的节点上,如果客户端在集群外,随机选一个。
第二个副本和第一个为相同机架
1. 创建类实现DNSToSwitchMapping接口
2. 配置文件core-site.xml
<property>
<name>net.topology.node.switch.mapping.impl</name>
<value>org.apache.hadoop.net.ScriptBasedMapping</value>
</property>
3. 分发core-site.xml
4. 编译程序,打成jar,分发所有节点的hadoop的classpath下/Hadoop/shared/common/lib
具体如何自定义机架感知类,请自行百度学习