Hadoop其他知识_网络拓扑(25)

2019独角兽企业重金招聘Python工程师标准>>>

                网络拓扑与Hadoop

                                    本地网络中，两个节点被称为'彼此近邻'是什么意思？在海量数据处理中，其中主要限制因素是节点之间数据的传输速率---带宽很稀缺，这里的想法是将两个节点间的带宽作为举例的衡量标准。

                                    衡量节点之间的带宽，实际上很难实现(它需要一个稳定的集群，并且在集群中两两节点对数量是节点数量的平方)，为此Hadoop采用一个简单的方法，把网络看作一棵树，两个节点间的距离是它们到最近的共同祖先的距离总和，该树中的层次是没有预先设定的，但是相对于数据中心框架和正运行的节点，通常可设定等级，具体的想法是对于以下每个场景，可用带宽依次递减：

                            1、同一节点中的进程.

                            2、同一机架上的不同节点.

                            3、同一数据中心中不同机架上的节点.

                            4、不同数据中心中的节点.

                    例如，假设有数据中心d1机架r1中的节点n1.该节点可用表示为/d1/r1/n1.利用这种标记，这里给出四中距离描述：

                            distance(/d1/r1/n1,/d1/r1/n1)=0(同一节点中的进程)

                            distance(/d1/r1/n1,/d1/r1/n2)=2(同一机架上的不同节点)

                            distance(/d1/r1/n1./d1/r2/n3)=4(同一数据中心中不同机架上的节点)

                            distance(/d1/r1/n1,/d2/r3/n4)=6(不同数据中心中的节点)

                                                                                                                                Name：Xr

                                                                                                                                Date：2014-03-16 20:59

转载于:https://my.oschina.net/Xiao629/blog/208724