Hadoop拓扑感知-个人学习

Hadoop拓扑感知学习

此学习报告是前一段时间学习Hadoop整理出来的，包括拓扑感知的原理机制，后续会有相应的代码分析。

一.拓扑感知

HDFS运行在一个具有树状网络拓扑结构的计算机集群上。在一个集群中可能有多个数据中心，在每个计算中心部分分布着很多为计算需求而设置的机架。在网络拓扑结构中，每个叶子结点代表一个DataNode，而不同机架间的路由选择由InnerNode内部类表示。

1.1拓扑感知功能

通过拓扑结构，Hadoop能清晰地知道每台机器所在的机架。通过它来确定节点间的距离，这个距离是Hadoop做决策判断时的参考因素。NameNode也是通过这个距离来决定应该把数据副本放到哪里的。当一个map任务到达时，它会被分配到一个TaskTracker上运行，JobTracker