在了解hdfs创建文件之前,需要对hdfs网络拓扑有一个浅显的认知,继而对机架感知做一个简单的介绍。
在海量数据处理中,其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法:把网络看作一棵树,两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的,但是相对于数据中心、机架、正在运行的节点,通常可以设定等级。具体想法是针对以下场景,可用带宽依次递减:
1) 同一节点上的进程,网络自循环,距离为0,带宽最强
2) 同一机架上的不同节点,距离为2
3) 同一数据中心中不同机架上的节点,距离为4
4) 不同数据中心中的节点,距离为6
Hadoop 不适合跨数据中心运行。
通过以上网络拓扑的介绍,了解到hdfs在创建文件的时候,需要考虑两点:带宽和可靠性。文件放到同一个datanode上,带宽提升,但不可靠,放到不同的数据中心,可靠性提高,但是带宽受限。
所以,
hadoop
集群有上千个节点,文件副本只有
3
个,如何选择节点进行副本存储,都能兼顾到带宽和可靠性?
这里,就用到了机架感知。
各个版本的hadoop在做文件创建的时候,对于副本的选择一般都有自己的机架感知策略。像hadoop2.7.2版本,副本选择策略为:
第一个副本在client所处的节点上,如果客户端在集群外,随机选一个。
第二个副本和第一个为相同机架
第三个副本位于不同机架
在实际的情况中,如果自定义自己的机架感知策略呢?
1. 创建类实现DNSToSwitchMapping接口
2. 配置文件core-site.xml
<property>
<name>net.topology.node.switch.mapping.impl</name>
<value>org.apache.hadoop.net.ScriptBasedMapping</value>
</property>
3. 分发core-site.xml
4. 编译程序,打成jar,分发所有节点的hadoop的classpath下/Hadoop/shared/common/lib
具体如何自定义机架感知类,请自行百度学习