关闭

Hadoop机架感知原理

标签: hadoophadoop集群分布式机架感知
2413人阅读 评论(0) 收藏 举报
分类:

背景
分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。

具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储,每个block会有多个副本(默认为3),并且为了数据的安全和高效,所以hadoop默认对3个副本的存放策略为:

  • 第一个block副本放在和client所在的node里(如果client不在集群范围内,则这第一个node是随机选取的)。
  • 第二个副本放置在与第一个节点不同的机架中的node中(随机选择)。
  • 第三个副本似乎放置在与第一个副本所在节点同一机架的另一个节点上
  • 如果还有更多的副本就随机放在集群的node里。

这样的策略可以保证对该block所属文件的访问能够优先在本rack下找到,如果整个rack发生了异常,也可以在另外的rack上找到该block的副本。这样足够的高效,并且同时做到了数据的容错。

但是,hadoop对机架的感知并非是自适应的,亦即,hadoop集群分辨某台slave机器是属于哪个rack并非是只能的感知的,而是需要hadoop的管理者人为的告知hadoop哪台机器属于哪个rack,这样在hadoop的namenode启动初始化时,会将这些机器与rack的对应信息保存在内存中,用来作为对接下来所有的HDFS的写块操作分配datanode列表时(比如3个block对应三台datanode)的选择datanode策略,做到hadoop allocate block的策略:尽量将三个副本分布到不同的rack。
接下来的问题就是:通过什么方式能够告知hadoop namenode哪些slaves机器属于哪个rack?以下是配置步骤。

配置

默认情况下,hadoop的机架感知是没有被启用的。所以,在通常情况下,hadoop集群的HDFS在选机器的时候,是随机选择的,也就是说,很有可能在写数据时,hadoop将第一块数据block1写到了rack1上,然后随机的选择下将block2写入到了rack2下,此时两个rack之间产生了数据传输的流量,再接下来,在随机的情况下,又将block3重新又写回了rack1,此时,两个rack之间又产生了一次数据流量。在job处理的数据量非常的大,或者往hadoop推送的数据量非常大的时候,这种情况会造成rack之间的网络流量成倍的上升,成为性能的瓶颈,进而影响作业的性能以至于整个集群的服务。
要将hadoop机架感知的功能启用,配置非常简单,在namenode所在机器的hadoop-site.xml配置文件中配置一个选项:

<property>
  <name>topology.script.file.name</name>
  <value>/path/to/RackAware.py</value>
</property

这个配置选项的value指定为一个可执行程序,通常为一个脚本,该脚本接受一个参数,输出一个值。接受的参数通常为某台datanode机器的ip地址,而输出的值通常为该ip地址对应的datanode所在的rack,例如”/rack1”。Namenode启动时,会判断该配置选项是否为空,如果非空,则表示已经用机架感知的配置,此时namenode会根据配置寻找该脚本,并在接收到每一个datanode的heartbeat时,将该datanode的ip地址作为参数传给该脚本运行,并将得到的输出作为该datanode所属的机架,保存到内存的一个map中。

至于脚本的编写,就需要将真实的网络拓朴和机架信息了解清楚后,通过该脚本能够将机器的ip地址正确的映射到相应的机架上去。一个简单的实现如下:

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  

rack = {"hadoopnode-176.tj":"rack1",  
        "hadoopnode-178.tj":"rack1",  
        "hadoopnode-179.tj":"rack1",  
        "hadoopnode-180.tj":"rack1",  
        "hadoopnode-186.tj":"rack2",  
        "hadoopnode-187.tj":"rack2",  
        "hadoopnode-188.tj":"rack2",  
        "hadoopnode-190.tj":"rack2",  
        "192.168.1.15":"rack1",  
        "192.168.1.17":"rack1",  
        "192.168.1.18":"rack1",  
        "192.168.1.19":"rack1",  
        "192.168.1.25":"rack2",  
        "192.168.1.26":"rack2",  
        "192.168.1.27":"rack2",  
        "192.168.1.29":"rack2",  
        }  


if __name__=="__main__":  
    print "/" + rack.get(sys.argv[1],"rack0")  

由于没有找到确切的文档说明 到底是主机名还是ip地址会被传入到脚本,所以在脚本中最好兼容主机名和ip地址,如果机房架构比较复杂的话,脚本可以返回如:/dc1/rack1 类似的字符串。

执行命令:chmod +x RackAware.py

重启namenode,如果配置成功,namenode启动日志中会输出:

2011-12-21 14:28:44,495 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /rack1/192.168.1.15:50010  

网络拓扑机器之间的距离
这里基于一个网络拓扑案例,介绍在复杂的网络拓扑中hadoop集群每台机器之间的距离

这里写图片描述

有了机架感知,NameNode就可以画出上图所示的datanode网络拓扑图。D1,R1都是交换机,最底层是datanode。则H1的rackid=/D1/R1/H1,H1的parent是R1,R1的是D1。这些rackid信息可以通过topology.script.file.name配置。有了这些rackid信息就可以计算出任意两台datanode之间的距离。

distance(/D1/R1/H1,/D1/R1/H1)=0  相同的datanode
distance(/D1/R1/H1,/D1/R1/H2)=2  同一rack下的不同datanode
distance(/D1/R1/H1,/D1/R1/H4)=4  同一IDC下的不同datanode
distance(/D1/R1/H1,/D2/R3/H7)=6  不同IDC下的datanode
0
0
查看评论

自定义机架感知(优化hadoop集群一种方式)

1.自定义实现类   package com.it18zhang.hdfs.rackaware;   import org.apache.hadoop.net.DNSToSwitchMapping;   import java.uti...
  • duzewen
  • duzewen
  • 2017-03-22 14:50
  • 302

Hadoop之——机架感知配置

1.背景       Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨...
  • l1028386804
  • l1028386804
  • 2016-07-17 22:46
  • 5155

Hadoop 学习研究(七): 深度剖析hdfs原理

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。 1.分布式文件系统...
  • u012151684
  • u012151684
  • 2017-06-10 09:36
  • 584

hadoop-2.7.4-翻译文档-机架感知

机架感知 Hadoop组件具有机架感知功能。例如,HDFS通过机架感知来将块副本放在不同的机架上,从而提高容错。在群集中发生网络交换机故障或进行分区时,可提供数据可用性。 Hadoop主守护进程通过调用由配置文件指定的外部脚本或java类来获取群集从站的机架ID。使用java类或外部脚本进行拓扑,输...
  • anyuzun
  • anyuzun
  • 2017-09-23 16:03
  • 110

Hadoop机架感知配置

在hadoop2.7.3中的机架感知策略,可通过编程实现接口与修改配置文件的方式进行实现 第一个复本在client所处的节点上。如果客户端在集群外,随机选择一个 第二个复本和第一个复本不为相同机架 第三个复本和第二个复本所在机架相同
  • lemonZhaoTao
  • lemonZhaoTao
  • 2017-04-30 01:19
  • 907

HDFS--机架感知

一、背景介绍 Hadoop的设计目的:解决海量大文件的处理问题,主要指大数据的存储和计算问题,其中,HDFS解决数据的存储问题;MapReduce解决数据的计算问题   Hadoop的设计考虑:设计分布式的存储和计算解决方案架构在廉价的集群之上,所以,服务器节点出现宕机的情况是常态。数...
  • zhongqi2513
  • zhongqi2513
  • 2017-06-24 22:20
  • 544

hadoop 机架感知

1.背景       Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从...
  • pengweid
  • pengweid
  • 2015-04-20 13:58
  • 706

Hadoop之机架感知

在分布式集群下,由于机架的的槽位和交换机网口数量的限制,使得集群上的机器不得不跨越机架,通常一个大型的集群会跨越很多机架。一般情况机架内机器的通讯会快于跨机架机器之间的通讯,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 通过机架感知,可以带来性能和安全性的提升,例如:HDFS块...
  • qianshangding0708
  • qianshangding0708
  • 2015-08-05 17:19
  • 3668

【HDFS】hadoop的机架感知策略是啥?

123
  • tracymkgld
  • tracymkgld
  • 2014-01-21 10:29
  • 1157

机架感知(Rack Awareness)机制浅述

机架感知(RackAwareness) 通常,大型Hadoop集群会分布在很多机架上。在这种情况下,   -- 希望不同节点之间的通信能够尽量发生在同一个机架之内,而不是跨机架。   -- 为了提高容错能力,名称节点会尽可能把数据块的副本放到多个机...
  • huoyunshen88
  • huoyunshen88
  • 2013-08-16 11:07
  • 838
    个人资料
    • 访问:721200次
    • 积分:7198
    • 等级:
    • 排名:第3728名
    • 原创:107篇
    • 转载:37篇
    • 译文:11篇
    • 评论:213条
    博客专栏
    个人联系方式
    更多交流
    最新评论