Hadoop拓扑感知学习
此学习报告是前一段时间学习Hadoop整理出来的,包括拓扑感知的原理机制,后续会有相应的代码分析。
一.拓扑感知
HDFS运行在一个具有树状网络拓扑结构的计算机集群上。在一个集群中可能有多个数据中心,在每个计算中心部分分布着很多为计算需求而设置的机架。在网络拓扑结构中,每个叶子结点代表一个DataNode,而不同机架间的路由选择由InnerNode内部类表示。
1.1拓扑感知功能
通过拓扑结构,Hadoop能清晰地知道每台机器所在的机架。通过它来确定节点间的距离,这个距离是Hadoop做决策判断时的参考因素。NameNode也是通过这个距离来决定应该把数据副本放到哪里的。当一个map任务到达时,它会被分配到一个TaskTracker上运行,JobTracker