Hadoop之——机架感知配置

最新推荐文章于 2022-01-04 15:27:02 发布
最新推荐文章于 2022-01-04 15:27:02 发布
阅读量158 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/l1028386804/article/details/51935169

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/51935169

1.背景
      Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。那么Hadoop是如何确定任意两个节点是位于同一机架，还是跨机架的呢？答案就是机架感知。

     默认情况下，hadoop的机架感知是没有被启用的。所以，在通常情况下，hadoop集群的HDFS在选机器的时候，是随机选择的，也就是说，很有可能在写数据时，hadoop将第一块数据block1写到了rack1上，然后随机的选择下将block2写入到了rack2下，此时两个rack之间产生了数据传输的流量，再接下来，在随机的情况下，又将block3重新又写回了rack1，此时，两个rack之间又产生了一次数据流量。在job处理的数据量非常的大，或者往hadoop推送的数据量非常大的时候，这种情况会造成rack之间的网络流量成倍的上升，成为性能的瓶颈，进而影响作业的性能以至于整个集群的服务

2.配置

  默认情况下，namenode启动时候日志是这样的：

2016-07-17 17:27:26,423 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node:  /default-rack/ 192.168.147.92:50010
每个IP 对应的机架ID都是 /default-rack ，说明hadoop的机架感知没有被启用。
要将hadoop机架感知的功能启用，配置非常简单，在 NameNode所在节点的/home/bigdata/apps/hadoop/etc/hadoop的core-site.xml配置文件中配置一个选项: 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     <property>
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     <name>topology.script.file.name
     
     </name>
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     <value>/home/bigdata/apps/hadoop/etc/hadoop/topology.sh
     
     </value>
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     </property>
这个配置选项的value指定为一个可执行程序，通常为一个脚本，该脚本接受一个参数，输出一个值。接受的参数通常为某台datanode机器的ip地址，而输出的值通常为该ip地址对应的datanode所在的rack，例如”/rack1”。Namenode启动时，会判断该配置选项是否为空，如果非空，则表示已经启用机架感知的配置，此时namenode会根据配置寻找该脚本，并在接收到每一个datanode的heartbeat时，将该datanode的ip地址作为参数传给该脚本运行，并将得到的输出作为该datanode所属的机架ID，保存到内存的一个map中.
      至于脚本的编写，就需要将真实的网络拓朴和机架信息了解清楚后，通过该脚本能够将机器的ip地址和机器名正确的映射到相应的机架上去。一个简单的实现如下： 


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     #!/bin/bash
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     HADOOP_CONF=/home/bigdata/apps/hadoop/etc/hadoop
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     while [ 
     
     $# -gt 0 ] ; 
     
     do
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       nodeArg=
     
     $1
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     exec<
     
     ${HADOOP_CONF}/topology.data
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       result=
     
     ""
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     while 
     
     read line ; 
     
     do
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
         ar=( 
     
     $line )
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     if [ 
     
     "${ar[0]}" = 
     
     "$nodeArg" ]||[ 
     
     "${ar[1]}" = 
     
     "$nodeArg" ]; 
     
     then
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
           result=
     
     "${ar[2]}"
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     fi
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     done
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     shift
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     if [ -z 
     
     "$result" ] ; 
     
     then
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     echo -n 
     
     "/default-rack"
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     else
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
        
     
     echo -n 
     
     "$result"
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     fi
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     done
topology.data,格式为：节点（ip或主机名） /交换机xx/机架xx
192.168.147.91 tbe192168147091 /dc1/rack1
192.168.147.92 tbe192168147092 /dc1/rack1
192.168.147.93 tbe192168147093 /dc1/rack2
192.168.147.94 tbe192168147094 /dc1/rack3
192.168.147.95 tbe192168147095 /dc1/rack3
192.168.147.96 tbe192168147096 /dc1/rack3
需要注意的是，在Namenode上，该文件中的节点必须使用IP，使用主机名无效，而Jobtracker上，该文件中的节点必须使用主机名，使用IP无效,所以，最好ip和主机名都配上。
这样配置后，namenode启动时候日志是这样的： 

2016-07-17 17:16:27,272 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node:  /dc1/rack3/  192.168.147.94:50010
说明hadoop的机架感知已经被启用了。
查看HADOOP机架信息命令: 

 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     ./hadoop dfsadmin -printTopology 
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Rack: 
     
     /dc1/rack1
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .91:
     
     50010 (tbe192168147091)
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .92:
     
     50010 (tbe192168147092)
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Rack: 
     
     /dc1/rack2
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .93:
     
     50010 (tbe192168147093)
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Rack: 
     
     /dc1/rack3
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .94:
     
     50010 (tbe192168147094)
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .95:
     
     50010 (tbe192168147095)
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .96:
     
     50010 (tbe192168147096)

3.增加数据节点，不重启NameNode

假设Hadoop集群在192.168.147.68上部署了NameNode和DataNode,启用了机架感知，执行bin/hadoop dfsadmin -printTopology看到的结果：
Rack: /dc1/rack1
   192.168.147.68:50010 (dbj68)
现在想增加一个物理位置在rack2的数据节点192.168.147.69到集群中，不重启NameNode。
首先，修改NameNode节点的topology.data的配置，加入:192.168.147.69 dbj69 /dc1/rack2,保存。

192.168.147.68 dbj68 /dc1/rack1
192.168.147.69 dbj69 /dc1/rack2
然后，sbin/hadoop-daemons.sh start datanode启动数据节点dbj69,任意节点执行bin/hadoop dfsadmin -printTopology 看到的结果： 

 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Rack: 
     
     /dc1/rack1
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .68:
     
     50010 (dbj68)
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Rack: 
     
     /dc1/rack2
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
       
     
     192.168
     
     .147
     
     .69:
     
     50010 (dbj69)
说明hadoop已经感知到了新加入的节点dbj69。
注意：如果不将dbj69的配置加入到topology.data中，执行sbin/hadoop-daemons.sh start datanode启动数据节点dbj69，datanode日志中会有异常发生，导致dbj69启动不成功。 

 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     2016-07-17 10:51:33,502 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1732631201-192.168.147.68-1385000665316 (storage id DS-878525145-192.168.147.69-50010-1385002292231) service to dbj68/192.168.147.68:9000
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.net.NetworkTopology$InvalidTopologyException): Invalid network topology. You cannot have a rack and a non-rack node at the same level of the network topology.
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.net.NetworkTopology.add(NetworkTopology.java:382)
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:746)
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:3498)
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:876)
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:91)
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:20018)
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
       at org.apache.hadoop.ipc.Server$
     
     Handler$
     
     1.run(Server.java:
     
     1701)
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.ipc.Server$
     
     Handler$
     
     1.run(Server.java:
     
     1697)
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at java.security.AccessController.doPrivileged(
     
     Native Method)
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at javax.security.auth.Subject.doAs(Subject.java:
     
     415)
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
     
     1408)
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.ipc.Server$Handler.run(Server.java:
     
     1695)
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.ipc.Client.call(Client.java:
     
     1231)
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:
     
     202)
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at $Proxy10.registerDatanode(
     
     Unknown 
     
     Source)
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at sun.reflect.NativeMethodAccessorImpl.invoke0(
     
     Native Method)
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
     
     57)
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
     
     43)
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at java.lang.reflect.Method.invoke(Method.java:
     
     601)
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:
     
     164)
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:
     
     83)
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at $Proxy10.registerDatanode(
     
     Unknown 
     
     Source)
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.registerDatanode(DatanodeProtocolClientSideTranslatorPB.java:
     
     149)
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.register(BPServiceActor.java:
     
     619)
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:
     
     221)
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:
     
     660)
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
      
     
     at java.lang.Thread.run(Thread.java:
     
     722)

4.节点间距离计算

有了机架感知，NameNode就可以画出下图所示的datanode网络拓扑图。D1,R1都是交换机，最底层是datanode。则H1的rackid=/D1/R1/H1，H1的parent是R1，R1的是D1。这些rackid信息可以通过topology.script.file.name配置。有了这些rackid信息就可以计算出任意两台datanode之间的距离，得到最优的存放策略，优化整个集群的网络带宽均衡以及数据最优分配。


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     distance(
     
     /D1/R1/H1,
     
     /D1/R1/H1)=
     
     0  相同的datanode
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     distance(
     
     /D1/R1/H1,
     
     /D1/R1/H2)=
     
     2  同一rack下的不同datanode
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     distance(
     
     /D1/R1/H1,
     
     /D1/R2/H4)=
     
     4  同一IDC下的不同datanode
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     distance(
     
     /D1/R1/H1,
     
     /D2/R3/H7)=
     
     6  不同IDC下的datanode
    
    
    
   
   

 
 

				<script>
					(function(){
						function setArticleH(btnReadmore,posi){
							var winH = $(window).height();
							var articleBox = $("div.article_content");
							var artH = articleBox.height();
							if(artH > winH*posi){
								articleBox.css({
									'height':winH*posi+'px',
									'overflow':'hidden'
								})
								btnReadmore.click(function(){
									articleBox.removeAttr("style");
									$(this).parent().remove();
								})
							}else{
								btnReadmore.parent().remove();
							}
						}
						var btnReadmore = $("#btn-readmore");
						if(btnReadmore.length>0){
							if(currentUserName){
								setArticleH(btnReadmore,3);
							}else{
								setArticleH(btnReadmore,1.2);
							}
						}
					})()
				</script>
				</article>
tugangkai
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop系列——HDFS文件系统的理解
Bernard's
07-14 255
1 观看10小时大数据入门第3章，回答以下问题。 a、不管文件file多大，都将其存放在一个节点上，是否实现了冗余备份？ 在视频中，“不管文件file多大，都将其存放在一个节点上”指的是没有对文件进行拆分/分散存储。而不是指将文件只存放在一个单独的节点上。 单独把这句话拿出来，只将文件只存放在一个单独的节点上，显然没有实现冗余备份。 b、将文件file拷贝并存放在多个节点上，这样实现了冗余备份了吗？ 实现了冗余备份。 比如现在很多大厂会采用磁带定期进行全盘备份，磁带便宜，但是不方便进行随机读写，所以
Hadoop 配置机架感知
qq_27347421的博客
02-06 445
HDFS 集群的机架感知 背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。 Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...
机架感知
dengbenji的专栏
09-22 428
1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让...
Hadoop机架感知（rack-aware)配置
蚂蚁搬家
06-07 3437
副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的机群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一机架内的两台机器...
hadoop机架感知
weixin_34261415的博客
01-03 217
背景     分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。     具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储...
hadoop机架感知配置——HDFS
weixin_44915822的博客
10-08 5530
编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值 进入到 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 的位置编辑core-site.xml配置文件，将下面的代码添加到文件的末尾并保存 topology.script.file.name /home/bigdata/apps/hadoop/etc/hadoop/RackAware.py 最后进入到 /export/servers/hadoop-
hadoop2.7.3 自定义实现机架感知(Java版本)
04-30
博客Hadoop机架感知配置自主实现的jar包 http://blog.csdn.net/lemonZhaoTao/article/details/70991813
【IT十八掌徐培成】Hadoop第04天-03.机架感知测试.zip
08-13
机架感知测试.zip"聚焦于Hadoop的一个核心特性——机架感知（Rack Awareness）。这一特性对于优化Hadoop集群的性能和容错性至关重要。以下将详细介绍机架感知的概念、作用以及如何进行测试。 首先，理解什么是机架...
【Hadoop】——HDFS
努力成为自己的榜样。
01-04 799
一、介绍： HDFS（Hadoop Distributed File System）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、HDFS设计原理 2.1 HDFS架构 HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成： NameNode: 负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等。它同时还负责集群元数据的存储，记录着文件中各个数...
Hadoop生态——HDFS
weixin_47391932的博客
08-20 1031
文章目录1.*HDFS读写流程？1.写数据流程 1.*HDFS读写流程？ 1.写数据流程
【Hadoop】Hadoop 机架感知配置、原理
weixin_34265814的博客
09-13 173
Hadoop机架感知 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份， 同机架内其它某一节点上一份，不同机架的某一节点上一份。 这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快； 同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。...
Hadoop机架感知
IT晓白
10-08 1026
目的：增加性能 原因：同机架io快。可以两个块部署统一机架的不同机器。 前提：是集群搭建开启成功 1.查看机架感知：hdfs dfsadmin -printTopology 2. 增加机架感知(一下都是在master（NameNode）上操作) a.修改core-site.xml,将下面内容添加进去 <property> <name>topolog...
机架感知(RackAwareness)
IT_探的博客
10-19 4946
一、背景         分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。         在这种情况下，                 -- 希望不同节点之间的通...
Hadoop机架感知配置
Running_Tiger的博客
03-14 506
Hadoop机架感知配置1、存储策略Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽
hadoop-机架感知配置
热门推荐
qq_21853321的博客
10-09 5万+
机架感知配置 第一步： 机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。 #!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "192.168.10.100":"NODE-SW001", "192.168.10.101":"NODE-SW002", "192.168.10.102":"NODE-S
hadoop 机架感知配置
weixin_30670925的博客
07-17 176
机架感知脚本 使用python3编写机架感知脚本，报存到topology.py，给予执行权限 import sys import os DEFAULT_RACK="/default-rack" HADOOP_CONF_DIR = os.environ['HADOOP_CONF_DIR'] FILE="topology.data" host_rack={} f...
HDFS-机架感知（rack-awareness）
amingo_ss的博客
05-09 2146
HDFS-机架感知 目录HDFS-机架感知1.机架感知的核心思想2.HDFS如何知道各个DataNode的网络拓扑情况3.机架感知核心配置（1）net.topology.impl（2）net.topology.node.switch.mapping.impl（3）net.topology.script.file.name（4）net.topology.table.file.name（5）net.topology.script.number.args4.机架感知实现方式4.1 默认配置解析4.2 自定义Jav
Hadoop安装——如何修改端口冲突
最新发布
05-31
在Hadoop的配置文件中，可以修改端口号。在Hadoop的conf目录下，找到core-site.xml文件，并添加以下配置： ``` <name>hadoop.tmp.dir <value>/hadoop/hadoopdata <name>fs.default.name <value>hdfs://...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值