关闭

Hadoop网络拓扑

标签: hadoophadoop集群hdfsyarn
2119人阅读 评论(0) 收藏 举报
分类:

概述

笔者这里将详述Hadoop集群中如何进行网络拓扑的介绍

这里写图片描述

如上图,Rack1,Rack2代表节点机器之间的交换机(一般是一个机柜一个),Swithch1表示集群之间的交换机。
当然上面架构是面向小集群的两层架构(30~40台)

对于hadoop来说没有良好的网络拓扑集群是无法实现真正的高可用的(当前限定在一个机房内)。

一般HDFS中的三个数据replication其中两个会在一个机柜里面,剩下的一个在其他机柜里面。所以当一个机柜出现问题那数据也不会掉。
此外,当我们采用Yarn进行资源调度时候也需要依赖良好的网络拓扑结果才能进行资源合理的分配。

所以综上所述我们需要有一个良好的机架拓扑。

配置文件说明

关于rack的配置文件一般格式为/switch/rack1结构啥意思呢,switch表示整个的交换机,rack1表示机柜。

但是这里我们需要特别的指出下,很多环境下有可能会出现相同两个机柜之间也可能是用同一个交换机(这样往往是由于交换机接口较多,而且为了节省资源)这时候我们整个机架的架构是交换机对应的节点,而不是按照机柜进行拆分的。

注意

当我们更新了rack信息后需要重启集群(HDFS和ZK以外的)。因为有相关服务依赖于rack信息,并且这些信息属于服务器端的配置。

  • When you add a new host, the following occurs:
    • YARN topology.map is updated to include the new host
    • Any service that includes topology.map in its configuration—Flume, Hive, Hue, Oozie, Solr, Spark, Sqoop 2, YARN—is marked stale
  • At a convenient point after adding the host you should restart the stale services to pick up the new configuration.
0
0
查看评论

Hadoop集群化搭建(一)网络配置

软件环境 操作系统 CentOS 6.4 64bit (Basic Server + 桌面环境) http://101.44.1.3/files/5144000002A5FE7D/down.zeidc.net/%B2%D9%D7%F7%CF%B5%CD%B3/Cen...
  • maxca
  • maxca
  • 2016-06-30 05:37
  • 1061

深入理解Hadoop集群和网络

原文地址 http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/ 本文侧重于Hadoop集群的体系结构和方法,以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实...
  • kickxxx
  • kickxxx
  • 2012-11-29 15:38
  • 15190

Hadoop拓扑感知-个人学习

Hadoop机架感知基础 1.1 拓扑感知 HDFS运行在一个具有树状网络拓扑结构的计算机集群上。在一个集群中可能有多个数据中心,在每个计算中心部分分布着很多为计算需求而设置的机架。在网络拓扑结构中,每个叶子结点代表一个DataNode,而不同机架间的路由选择由InnerNode内部...
  • phla_han
  • phla_han
  • 2014-05-07 21:28
  • 1136

第115讲:Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记

第115讲:Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记 本期内容: 1.hadoop商业硬件的选择 2.hadoop集群规模建议 3.hadoop网络拓扑结构 4.机架感知   1.hadoop商业硬件的选择 hadoop可以运行在普通的硬件上。但...
  • slq1023
  • slq1023
  • 2015-10-12 22:24
  • 707

Hadoop平台架构--硬件篇

还记得刚接触Hadoop的时候,还是1.x版本,硬是在自己的4GB内存上面弄了3个虚拟机 学习,条件有些艰苦,Hadoop测试集群搭建不需要太多考虑,随着毕业开始进入企业,在企业中实践Hadoop,特别是一定规模的集群,逐渐涉及到硬件资源,网络规划,操作系统,软件栈等一系列问题!对于一个没有经验的...
  • lively1982
  • lively1982
  • 2016-01-28 10:13
  • 3273

网络拓扑与Hadoop。

博文中的内容来源《Hadoop权威指南》这一本书,感激不尽。
  • en_joker
  • en_joker
  • 2018-01-12 17:04
  • 47

hadoop搭建三个节点(基于完全分布式)

一、Hadoop单个节点初始配置环境: Win10系统装虚拟机: 虚拟机VMware-workstation-full-10.0.0-812388.exe Linux系统 : Ubuntu16.04 JDK : openjdk-8-jre open...
  • qq_30070433
  • qq_30070433
  • 2017-03-05 22:27
  • 2051

Hadoop 网络拓扑相关配置脚本 topology.script.file.name

Topology Scripts Topology scripts are used by hadoop to determine the rack location of nodes. This information is used by hadoop to replicate block...
  • shaozhi_jinni
  • shaozhi_jinni
  • 2012-05-02 14:21
  • 1503

hdfs网络拓扑与机架感知

在了解hdfs创建文件之前,需要对hdfs网络拓扑有一个浅显的认知,继而对机架感知做一个简单的介绍。 在海量数据处理中,其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法:把网络看作一棵树,两个节点间的距离是它们到...
  • lms1256012967
  • lms1256012967
  • 2017-09-10 15:17
  • 105

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构,我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前,我们先回头看一下Hadoop1.x对MapReduce job的调度管理方式(可参考:Ha...
  • suifeng3051
  • suifeng3051
  • 2015-10-29 09:46
  • 15255
    个人资料
    • 访问:58788次
    • 积分:1035
    • 等级:
    • 排名:千里之外
    • 原创:34篇
    • 转载:0篇
    • 译文:6篇
    • 评论:9条
    最新评论