Hadoop之——机架感知配置

最新推荐文章于 2025-07-17 19:08:53 发布
原创 最新推荐文章于 2025-07-17 19:08:53 发布 · 1.5w 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop集群 #机架

本文介绍Hadoop中机架感知的基本概念与配置方法，包括如何启用机架感知功能、编写配置脚本以及如何在不重启NameNode的情况下增加数据节点。

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/51935169

1.背景
      Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。那么Hadoop是如何确定任意两个节点是位于同一机架，还是跨机架的呢？答案就是机架感知。

     默认情况下，hadoop的机架感知是没有被启用的。所以，在通常情况下，hadoop集群的HDFS在选机器的时候，是随机选择的，也就是说，很有可能在写数据时，hadoop将第一块数据block1写到了rack1上，然后随机的选择下将block2写入到了rack2下，此时两个rack之间产生了数据传输的流量，再接下来，在随机的情况下，又将block3重新又写回了rack1，此时，两个rack之间又产生了一次数据流量。在job处理的数据量非常的大，或者往hadoop推送的数据量非常大的时候，这种情况会造成rack之间的网络流量成倍的上升，成为性能的瓶颈，进而影响作业的性能以至于整个集群的服务

2.配置

  默认情况下，namenode启动时候日志是这样的：

2016-07-17 17:27:26,423 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node:  /default-rack/ 192.168.147.92:50010
每个IP 对应的机架ID都是 /default-rack ，说明hadoop的机架感知没有被启用。
要将hadoop机架感知的功能启用，配置非常简单，在 NameNode所在节点的/home/bigdata/apps/hadoop/etc/hadoop的core-site.xml配置文件中配置一个选项: 

<property>
  <name>topology.script.file.name</name>
  <value>/home/bigdata/apps/hadoop/etc/hadoop/topology.sh</value>
</property>
这个配置选项的value指定为一个可执行程序，通常为一个脚本，该脚本接受一个参数，输出一个值。接受的参数通常为某台datanode机器的ip地址，而输出的值通常为该ip地址对应的datanode所在的rack，例如”/rack1”。Namenode启动时，会判断该配置选项是否为空，如果非空，则表示已经启用机架感知的配置，此时namenode会根据配置寻找该脚本，并在接收到每一个datanode的heartbeat时，将该datanode的ip地址作为参数传给该脚本运行，并将得到的输出作为该datanode所属的机架ID，保存到内存的一个map中.
      至于脚本的编写，就需要将真实的网络拓朴和机架信息了解清楚后，通过该脚本能够将机器的ip地址和机器名正确的映射到相应的机架上去。一个简单的实现如下： 

#!/bin/bash
HADOOP_CONF=/home/bigdata/apps/hadoop/etc/hadoop
while [ $# -gt 0 ] ; do
  nodeArg=$1
  exec<${HADOOP_CONF}/topology.data
  result=""
  while read line ; do
    ar=( $line )
    if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ]; then
      result="${ar[2]}"
    fi
  done
  shift
  if [ -z "$result" ] ; then
    echo -n "/default-rack"
  else
    echo -n "$result"
  fi
  done
topology.data,格式为：节点（ip或主机名） /交换机xx/机架xx
192.168.147.91 tbe192168147091 /dc1/rack1
192.168.147.92 tbe192168147092 /dc1/rack1
192.168.147.93 tbe192168147093 /dc1/rack2
192.168.147.94 tbe192168147094 /dc1/rack3
192.168.147.95 tbe192168147095 /dc1/rack3
192.168.147.96 tbe192168147096 /dc1/rack3
需要注意的是，在Namenode上，该文件中的节点必须使用IP，使用主机名无效，而Jobtracker上，该文件中的节点必须使用主机名，使用IP无效,所以，最好ip和主机名都配上。
这样配置后，namenode启动时候日志是这样的： 

2016-07-17 17:16:27,272 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node:  /dc1/rack3/  192.168.147.94:50010
说明hadoop的机架感知已经被启用了。
查看HADOOP机架信息命令: 
./hadoop dfsadmin -printTopology 
Rack: /dc1/rack1
   192.168.147.91:50010 (tbe192168147091)
   192.168.147.92:50010 (tbe192168147092)

Rack: /dc1/rack2
   192.168.147.93:50010 (tbe192168147093)

Rack: /dc1/rack3
   192.168.147.94:50010 (tbe192168147094)
   192.168.147.95:50010 (tbe192168147095)
   192.168.147.96:50010 (tbe192168147096)

3.增加数据节点，不重启NameNode

假设Hadoop集群在192.168.147.68上部署了NameNode和DataNode,启用了机架感知，执行bin/hadoop dfsadmin -printTopology看到的结果：
Rack: /dc1/rack1
   192.168.147.68:50010 (dbj68)
现在想增加一个物理位置在rack2的数据节点192.168.147.69到集群中，不重启NameNode。
首先，修改NameNode节点的topology.data的配置，加入:192.168.147.69 dbj69 /dc1/rack2,保存。

192.168.147.68 dbj68 /dc1/rack1
192.168.147.69 dbj69 /dc1/rack2
然后，sbin/hadoop-daemons.sh start datanode启动数据节点dbj69,任意节点执行bin/hadoop dfsadmin -printTopology 看到的结果： 
Rack: /dc1/rack1
   192.168.147.68:50010 (dbj68)

Rack: /dc1/rack2
   192.168.147.69:50010 (dbj69)
说明hadoop已经感知到了新加入的节点dbj69。
注意：如果不将dbj69的配置加入到topology.data中，执行sbin/hadoop-daemons.sh start datanode启动数据节点dbj69，datanode日志中会有异常发生，导致dbj69启动不成功。 
2016-07-17 10:51:33,502 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1732631201-192.168.147.68-1385000665316 (storage id DS-878525145-192.168.147.69-50010-1385002292231) service to dbj68/192.168.147.68:9000
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.net.NetworkTopology$InvalidTopologyException): Invalid network topology. You cannot have a rack and a non-rack node at the same level of the network topology.
  at org.apache.hadoop.net.NetworkTopology.add(NetworkTopology.java:382)
  at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:746)
  at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:3498)
  at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:876)
  at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:91)
  at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:20018)
  at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
  at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
  at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701)
  at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:415)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
  at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1695)

  at org.apache.hadoop.ipc.Client.call(Client.java:1231)
  at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
  at $Proxy10.registerDatanode(Unknown Source)
  at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
  at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  at java.lang.reflect.Method.invoke(Method.java:601)
  at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
  at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
  at $Proxy10.registerDatanode(Unknown Source)
  at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.registerDatanode(DatanodeProtocolClientSideTranslatorPB.java:149)
  at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.register(BPServiceActor.java:619)
  at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:221)
  at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:660)
  at java.lang.Thread.run(Thread.java:722)

4.节点间距离计算

有了机架感知，NameNode就可以画出下图所示的datanode网络拓扑图。D1,R1都是交换机，最底层是datanode。则H1的rackid=/D1/R1/H1，H1的parent是R1，R1的是D1。这些rackid信息可以通过topology.script.file.name配置。有了这些rackid信息就可以计算出任意两台datanode之间的距离，得到最优的存放策略，优化整个集群的网络带宽均衡以及数据最优分配。

distance(/D1/R1/H1,/D1/R1/H1)=0  相同的datanode
distance(/D1/R1/H1,/D1/R1/H2)=2  同一rack下的不同datanode
distance(/D1/R1/H1,/D1/R2/H4)=4  同一IDC下的不同datanode
distance(/D1/R1/H1,/D2/R3/H7)=6  不同IDC下的datanode

hadoop机架感知配置——HDFS
weixin_44915822的博客
10-08 5644
编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值 进入到 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 的位置编辑core-site.xml配置文件，将下面的代码添加到文件的末尾并保存 topology.script.file.name /home/bigdata/apps/hadoop/etc/hadoop/RackAware.py 最后进入到 /export/servers/hadoop-
Hadoop 配置机架感知
qq_27347421的博客
02-06 500
HDFS 集群的机架感知 背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。 Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...
深入解析Hadoop：机架感知算法与数据放置策略
最新发布
zuiyuelong的博客
07-17 1083
在大数据技术蓬勃发展的今天，Hadoop作为分布式计算的基石框架，其核心设计理念始终围绕着"移动计算而非数据"这一原则。这个由Apache基金会维护的开源项目，通过其独特的分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce计算模型，实现了对海量数据的高效存储与处理。HDFS采用主从架构设计，其中NameNode负责管理文件系统元数据，而DataNode则存储实际的数据块，这种设计使得系统能够线性扩展至数千个节点，处理PB级甚至EB级的数据集。
hadoop机架感知原理
qq_32603475的博客
10-11 1339
什么是机架感知 在hdfs中，存储文件是按照block块存储在不同的服务器磁盘上，一个block默认大小为128M，一个大的文件会被分为N个block存储。block会会有副本，hdfs默认副本个数为3个。机架感知就是为了解决hdfs存储的高效和安全性：客户端上传文件，文件的第一个block会存储在客户端所在的datanode，或者是第一个datanode。在默认情况下机架感知是未被开启。 ...
机架感知
dengbenji的专栏
09-22 523
1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让...
Hadoop机架感知（rack-aware)配置
蚂蚁搬家
06-07 3520
副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的机群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一机架内的两台机器...
Hadoop——机架感知
Enche的博客
02-21 510
Hadoop中副本在不同节点之间的复制需要消耗资源，为了充分发挥Hadoop的性能，Hadoop需要配置机架感知，这可以让Hadoop通过网络拓扑图计算不同节点之间的距离，因此来减少数据传输消耗的资源。 通过Hadoop官网我们知道，不配置机架感知，所有的都默认为/default-rack，可以通过命令hadoop dfsamin -printTopology来查看Hadoop的网络拓扑情况。 ...
hadoop2.7.3 自定义实现机架感知(Java版本)
04-30
博客Hadoop机架感知配置自主实现的jar包 http://blog.csdn.net/lemonZhaoTao/article/details/70991813
HDFS中副本存储节点选择——机架感知
m0_56066550的博客
12-09 1967
HDFS中副本存储节点的选择是根据机架感知来选择的。 副本数量默认为3。可以通过配置进行修改，但设置副本数应满足不大于DataNode的数量。比如目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数最多才能达到10。 副本节点选择的原则（以副本数为3举例）： 第一个副本：在Client所在的节点上，如果客户端在集群外，则随机挑选一个节点。 第二个副本：在另一个机架上随机挑选一个节点。 第三个副本：在第二个副本所在的机架内再随机挑选一个节点。 机架感知官方说明（附中文翻译）：
【IT十八掌徐培成】Hadoop第04天-03.机架感知测试.zip
08-13
机架感知测试.zip"聚焦于Hadoop的一个核心特性——机架感知（Rack Awareness）。这一特性对于优化Hadoop集群的性能和容错性至关重要。以下将详细介绍机架感知的概念、作用以及如何进行测试。 首先，理解什么是机架...
hadoop机架感知
weixin_34261415的博客
01-03 269
背景     分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。     具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储...
【Hadoop】Hadoop 机架感知配置、原理
weixin_34265814的博客
09-13 219
Hadoop机架感知 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份， 同机架内其它某一节点上一份，不同机架的某一节点上一份。 这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快； 同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。...
Hadoop机架感知
IT晓白
10-08 1080
目的：增加性能 原因：同机架io快。可以两个块部署统一机架的不同机器。 前提：是集群搭建开启成功 1.查看机架感知：hdfs dfsadmin -printTopology 2. 增加机架感知(一下都是在master（NameNode）上操作) a.修改core-site.xml,将下面内容添加进去 <property> <name>topolog...
机架感知(RackAwareness)
IT_探的博客
10-19 5480
一、背景         分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。         在这种情况下，                 -- 希望不同节点之间的通...
HDFS机架感知
Dawn的博客
03-26 3645
原文链接：https://weixiaodyanlei.xyz/archives/hdfs-ji-jia-gan-zhi Hadoop版本：2.9.2 什么是机架感知 通常大型 Hadoop 集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode 设法将数据块副本保存在不同的机架上以提高容错性。 HDFS 不能够自动判断集群中各个 DataNode 的网络状况情况，Hadoop 允许集群的管理员通过配置 net.topology.script.file.
ES的机架感知-Rack Awareness
zfj321的博客
02-01 618
在Elasticsearch中，机架感知（Rack Awareness） 是一种高级分片分配策略，旨在通过考虑物理基础设施的布局来提高数据的高可用性和负载均衡。具体来说，机架感知考虑了数据中心内服务器的物理位置，如机架、行或数据中心位置，从而优化数据的分布以防止硬件故障影响到整个集群的可用性。避免单点故障：机架感知确保同一索引的分片（特别是副本）不会分配到同一物理机架或同一数据中心，减少了单个硬件故障（如机架电源故障）影响多个分片的风险。
hdfs机架感知
03-18
### HDFS 的机架感知配置及工作原理 #### 一、HDFS 机架感知的工作原理 HDFS 的机架感知是为了优化数据存储和读取效率而设计的一种机制。它通过识别节点在网络中的位置来决定数据块的分布方式，从而减少跨机架的数据传输开销并提升系统的可靠性。 具体来说，在默认情况下，HDFS 使用三副本策略保存文件数据块。第一个副本通常存放在写入请求所在的节点上；第二个副本会被放置到另一个不同的机架上的某个 DataNode 中；第三个副本则被放到与第二个副本相同的机架但不同节点的位置[^3]。这种布局能够有效降低单个机架故障带来的风险，同时也提高了数据访问速度。 #### 二、HDFS 机架感知的配置方法 要启用 HDFS 的机架感知功能，管理员需要完成以下几个方面的设置： 1. **定义网络拓扑结构** 需要在 `core-site.xml` 文件中指定脚本路径用于解析 IP 地址对应的物理位置关系（即所谓的“反向 DNS 查询”）。此脚本应返回类似于 `/rackX/datacenterY` 这样的字符串表示形式。 ```xml <property> <name>topology.script.file.name</name> <value>/path/to/rack-awareness-script.sh</value> </property> ``` 2. **编写 Rack-Aware 脚本** 创建一个可执行 Shell 或其他语言编写的程序用来接收传入参数——DataNodes 的主机名/IP地址列表，并输出相应的机架信息。例如： ```bash #!/bin/bash case $1 in node1|node2) echo "/rack1" ;; node3|node4) echo "/rack2" ;; *) echo "/default-rack" ;; esac ``` 上述例子简单演示了一个小型集群内的两层架构划分逻辑。 #### 三、HDFS 主节点故障切换机制概述 对于 NameNode 的高可用性保障方面，现代版本的 Apache Hadoop 提供了两种主要解决方案：ZooKeeper Failover Controller 和 Quorum Journal Manager (QJM)[^4]。前者依赖外部协调服务 Zookeeper 实现自动化的 Master Election 流程；后者则是基于共享日志存储实现同步更新元数据变更记录的目的。 当 Active NN 出现异常停止运行时，Standby NN 将接管其职责成为新的活动实例继续提供对外的服务接口。整个过程涉及到了一系列复杂的内部通信协议以及状态迁移操作，确保整个转换期间不会丢失任何未提交事务或者破坏已有的一致性约束条件。 ```python from kazoo.client import KazooClient zk = KazooClient(hosts='localhost:2181') zk.start() @zk.ChildrenWatch("/hadoop-ha/ha-cluster") def watch_children(children): print("Current active namenode:", children[0]) # Ensure proper cleanup on exit. try: pass # Your application logic here... finally: zk.stop() ``` 以上 Python 示例展示了如何利用 Kazoo 库监听 HA 模式下 NameNodes 的选举事件变化情况。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰 河

可以吃鸡腿么？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值