Hadoop联邦模式搭建

已于 2024-10-22 10:46:46 修改
阅读量933 收藏 20
点赞数 19
分类专栏： 各类型大数据集群搭建文档 大数据Hadoop技术 文章标签： hadoop 大数据 分布式
于 2024-08-24 12:24:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dudadudadd/article/details/141422684
版权

在Hadoop架构中提供了三类搭建方式，第一类是给测试或开发人员使用的伪分布式或单NN节点搭建方式，第二类是用来商用化并解决NN单点故障的HA搭建方式，第三类就是这里要说的联邦模式，它本身也是一种供给商用的模式，但是它的应用在国内不多，它是用来解决HA单ActionNN压力问题的，在技术顶设上，一个Hadoop集群内部同一时间只允许存在一个生效的NN，但是当你的数据量非常庞大，庞大到你的DataNode资源已经不能用海量形容的地步时，你觉得一个NN能够提供稳定可行的元数据维护吗？同时这也是为什么这个模式国内用的很少的原因，因为能够有这种规模集群的公司一只手数的过来，就那几家。比如李老板家有款外部数据服务叫BOS，当时博主在李老板公司里面做牛马的时候，对自己人都限速，限速真的成了李老板家的传统了，靠背。

联邦模式，它是依靠Hadoop提供的ViewFS组件，这个组件自身提供了一个树根节点，并允许多个Hadoop集群，已分支节点的形式挂在这个根节点上组成一个更大的Hadoop集群视图关系网，而且一个分支节点下可以有多个hadoop集群，这些集群被视为命名空间存在，所有在联邦中的Hadoop之间横向分摊了元数据存储压力，当然这里说的分摊并不是数据块切片那样的分摊，而是每一个根节点下的命名空间，由ViewFS提供转发的能力，让跨集群存储以及访问数据能够更加简单和透明，注意你可以在任何一个NN上访问到整个联邦中的数据，因为元数据层面虽然是水平分摊的，但是集群中所有的DataNode是共享的。

在这里插入图片描述

配置Hadoop联邦模式你只需要在原来的单一集群基础上修改如下配置即可，但是注意配置的时候需要格式化hdfs，所以要不是新集群，就要考虑数据备份。还有一点要注意，当你搭建联邦模式以后，它的元数据信息由于只是分摊分管，并不是相互之间有备份，因此，你虽然可以撤离data node节点，但是对于namenode节点来说，最多只能撤一台，除非整个分摊元数据对应的文件都不要了，并且还要提前删数据。

本篇只介绍联邦和单一集群搭建不同的配置，至于相同的就不再展示了，这里给大家提供我之前发的大家文档
Hadoop3.x==》https://blog.csdn.net/dudadudadd/article/details/139547748
Hadoop2.x==》https://blog.csdn.net/dudadudadd/article/details/109858613

第一步：修改所有集群的core-site.xml文件。单一的hadoop集群在namenode访问上通常只有如下的配置

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hdp</value>
</property>

这个配置在一开始说的三种搭建类型中的前两种中，是一个hdfs前缀的访问路径，意在告诉客户端hdfs访问入口，而在联邦模式中他要改成如下设置，用来关联viewfs(根节点)-分支-命名空间之间的联系

<property>
    <name>fs.defaultFS</name>
    <value>viewfs:///</value>
</property>
<property>
    <name>fs.viewfs.mounttable.default.link./nameservice01</name>
    <value>hdfs://bi/</value>
</property>
<property>
    <name>fs.viewfs.mounttable.default.link./nameservice02</name>
    <value>hdfs://dt/</value>
</property>

对与上面的这个配置要注意的点如下：

  1. fs.defaultFS配置值改为viewfs前缀的一个路径，告诉hadoop你要启用联邦视图组件，并指定默认访问的入口，也就是默认去那个根节点的分支下找数据，这一点和之前的搭建方式差别不大，如上配置中的viewfs:///指不特意指定某个分支，既默认访问default，如果你要指定则改为viewfs://视图分支/，注意后期在访问一个不存在的资源会报错。
  2. fs.viewfs.mounttable.default.link./nameservice01配置值的格式是固定的，就和配置NN或RM组时类似，fs.viewfs.mounttable.视图分支.link./命名空间，视图分支按照实际需求直接在配置中书写既视为定义，不需要像NN那样提前定义名称之类的，属于随用随写，至于命名空间也不是说要和配置项中hdfs路径后面的一样，它起到的作用是后期使用的时候，hadoop转发的依据，因此业内为了方便使用才写成一样的，就是说在后期使用的时候完整的数据访问路径是viewfs://分支/命名空间/文件路径，所以配置项中的./nameservice02和下面路径中的hdfs://dt/不是非要一样，./nameservice02是viewfs内部的视图内容，一定不要混淆。但是hdfs://dt/中的dt必须是你后面配置hdfs是的NN服务器名，这个不能不一样

第二步：去修改所有节点的hdfs-site.xml，单独的Hadoop集群中对于NameNode的配置是以主副HA组成的一组nameservices实现的，就像下面这样

<property>
   <name>dfs.nameservices</name>
   <value>hdp</value>
</property>
。。。。省略对应的高可用配置项

而在联邦模式中你需要让每一个集群知道它所在联邦中所有的NN，比如如下配置

<property>
    <name>dfs.nameservices</name>
    <value>bi,dt</value>
</property>

<!-- bi下面有两个NameNode，分别是nn1，nn2 -->
<property>
    <name>dfs.ha.namenodes.bi</name>
    <value>nn1,nn2</value>
</property>

<!-- dt下面有两个NameNode，分别是nn3，nn4 -->
<property>
    <name>dfs.ha.namenodes.dt</name>
    <value>nn3,nn4</value>
</property>

<!-- nn1的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.bi.nn1</name>
    <value>mini01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.bi.nn1</name>
    <value>mini01:50070</value>
</property>

<!-- nn2的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.bi.nn2</name>
    <value>mini02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.bi.nn2</name>
    <value>mini02:50070</value>
</property>

<!-- nn3的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.dt.nn3</name>
    <value>mini03:9000</value>
</property>
<!-- nn3的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.dt.nn3</name>
    <value>mini03:50070</value>
</property>

<!-- nn4的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.dt.nn4</name>
    <value>mini04:9000</value>
</property>
<!-- nn4的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.dt.nn4</name>
    <value>mini04:50070</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<property>
    <name>dfs.client.failover.proxy.provider.bi</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
    <name>dfs.client.failover.proxy.provider.dt</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 注意上面的配置是联邦中所有集群都要有的，而且本身也需要为不同角色配置，但是其他本身是集群公用的，但却又独属于这个集群的配置，则要分集群去写，比如下面的配置 -->

<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<!--  在bi命名空间的集群中用如下配置  -->
<property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>qjournal://JournalNode地址/bi</value>
</property>

<!--  在dt名称空间的集群中用如下配置  # 在bi集群中注释掉  -->
<!--
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://mini05:8485;mini06:8485;mini07:8485/dt</value>
</property>
-->

<!-- 至于其他的集群公用配置，又不属于某个集群独属的配置则不需要变 -->

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/app/hadoop/journaldata</value>
</property>

<!-- 开启NameNode失败自动切换 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<!-- 其中shell(/bin/true) 表示可执行一个脚本  比如 shell(/app/yunwei/hadoop_fence.sh) -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/app/.ssh/id_rsa</value>
</property>

<!-- 配置sshfence隔离机制超时时间 单位：毫秒 -->
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
   <value>30000</value>
</property>

第三步：确定所有的集群中RM和历史日志服务器指定的是一套，因为联邦中的计算资源是共享的

第四步：随着架构版本的不同，你需要去更改slaves或workers文件，这里面要包含整个联邦所有的node节点，说白了就是单集群的时候只需要有自己集群的就行，但是联邦集群因为底层计算和存储资源是共享的所以和NN配置的时候类似的操作，要让所有集群知道联邦中所有的计算和存储资源是谁

集群其他的配置不需要变，原来什么样，现在就什么样，注意我的意思是其他配置任然保持对一个集群自己负责就行，不需要考虑联邦因素，所以你自己按照自己的实际情况是调整

第五步：开始格式化集群

  1. 确保zk是启动的
  2. 在联邦中我们配置文件中写的journalnode所在节点上，运行命令启动对应服务hadoop-daemon.sh start journalnode，单一的集群我们一般不关注启动节点的，但是联邦中集群不止有一个。
  3. 依次在每个集群上格式化主备NN，格式化的时候注意，所有集群必须指定同一个集群ID，也就是说命令为hdfs namenode -format -clusterID CID-8c9c1d4b-5aa3-4d12-b717-31a56884da7f，后面的UUID找个生成UUID的网站生产一个就行，还有不要在这一步的时候备份主NN，因为联邦的Hadoop启动的时候是所有的NN都会启动，所以先把主NN那一套格式化搞完，让主NN启动起来之后再备份
  4. 格式化zkfc也和NN一样，在每个集群上依次执行hdfs zkfc -formatZK，不过初始化每个集群自己的zkfc就行，没有特殊配置，就是说每个集群各自在主NN上运行格式化zkfc
  5. 在任何一个NN上启动hdfs，执行一次start-dfs.sh就行，会启动整个联邦的NN，这一步启动了主NN之后，再去备份备用NN
  6. 在整个联邦指定的RM上启动yarnstart-yarn.sh

第一次因为涉及到格式化所以严格按照上面的步骤来，后面启动就和单集群没差别了，也是zk-hdfs-yarn-其他服务

在格式化的第5点，启动hdfs之后，留意一下输出日志，按照写本文是用的测试集群来说正常情况下会启动4个NN、6个DN、4个zkfc、3个journal，也就是如下的输出

[root@node1 hadoop]# start-dfs.sh 
Starting namenodes on [node1 node2 node4 node5]
node1: starting namenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-namenode-node1.out
node4: starting namenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-namenode-node4.out
node5: starting namenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-namenode-node5.out
node2: starting namenode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-namenode-node2.out
node5: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-node5.out
node1: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-node1.out
node4: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-node4.out
node2: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-node2.out
node6: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-node6.out
node3: starting datanode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-datanode-node3.out
Starting journal nodes [node1 node2 node3]
node1: starting journalnode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-journalnode-node1.out
node3: starting journalnode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-journalnode-node3.out
node2: starting journalnode, logging to /opt/hadoop-2.7.2/logs/hadoop-root-journalnode-node2.out
Starting ZK Failover Controllers on NN hosts [node1 node2 node4 node5]
node1: starting zkfc, logging to /opt/hadoop-2.7.2/logs/hadoop-root-zkfc-node1.out
node2: starting zkfc, logging to /opt/hadoop-2.7.2/logs/hadoop-root-zkfc-node2.out
node4: starting zkfc, logging to /opt/hadoop-2.7.2/logs/hadoop-root-zkfc-node4.out
node5: starting zkfc, logging to /opt/hadoop-2.7.2/logs/hadoop-root-zkfc-node5.out

至于初始化第6点的yarn，启动之后也要关注一下，因为有些时候备用的RM不跟随着交互启动，需要自己启动一下

最后通过web页面就可以看到整个集群的资源了，而且访问四个NN，会发现有两个生效的

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
最后你要测试一下联邦的相关能力是否正常，首先访问任意一个生效的NN的Web文件系统页面，正常情况下刚开始是什么也没有的，如下
在这里插入图片描述
但是，你通过客户端查询根路径，你会发现客户端可以打印出命名空间开头的路径

[root@node1 hadoop-2.7.2]# hadoop fs -ls /
Found 2 items
-r-xr-xr-x   - root root          0 2024-08-24 12:02 /nameservice01
-r-xr-xr-x   - root root          0 2024-08-24 12:02 /nameservice02

此后，用客户端操作数据的时候就必须加上正确的命名空间前缀，不然就会提示你不符合联邦试图，如下

[root@node1 hadoop-2.7.2]# hadoop fs -mkdir /test01
mkdir: InternalDir of ViewFileSystem is readonly; operation=mkdirsPath=/test01
[root@node1 hadoop-2.7.2]# hadoop fs -ls /
Found 2 items
-r-xr-xr-x   - root root          0 2024-08-24 12:06 /nameservice01
-r-xr-xr-x   - root root          0 2024-08-24 12:06 /nameservice02
[root@node1 hadoop-2.7.2]# hadoop fs -mkdir /nameservice01/test01
[root@node1 hadoop-2.7.2]#

同时在web上不会显示命名空间，因为对与web来说，所有NN之间共享了元数据信息，虽然底层会去交互数据信息，但在页面上只会展示所有的数据路径，也就是不带命名空间的路径
在这里插入图片描述
同样的，其他第三方访问hdfs数据也要带上前缀，比如写代码之类的，并且要注意我上面的配置是挂载在了联盟默认分支上，因此我的访问路径不用带分支，但完整的路径因该是viewfs://分支/命名空间/文件路径，但是一般来讲按照正常的访问高可用集群NN的方式访问也是可以的

尘世壹俗人
关注
专栏目录
HDFS 联邦（Federation）个人理解
gaofeng的博客
05-26 1645
NameNode单点存在以下两个问题 单点故障—HA解决 压力大—Federation解决 1：联邦机制架构 解决了HDFS单节点如下问题 1.namespace命名空间限制 namenode把所有元数据存储在内存中，单个namenode所能存储的对象（文件+块）有限制 2.性能瓶颈（吞吐量） 整个hdfs文件系统的吞吐量受限于单个namenode的吞吐量 3.隔离问题 无法隔离应用程序，一个实验程序，可能影响整个集群 4.单点故障 简而言之就是 NN的压力过大，内存受限 元数据进行分治，复用DN存
Hadoop的联邦机制
m0_57498038的博客
04-22 363
Hadoop的联邦机制 1.1 为什么会出现联邦？ Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。 2.1 联邦的实现 采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。 如图： 图中概念： • block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所有的pool，block pool之间的管理是独...
Hadoop Federation
大数据流浪法师的学习笔记与分享
12-05 309
单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。 因而提出了namenode水平扩展方案-- Federation。 Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。 多个NameNode的情况意味着有多...
Hadoop 教程 - Hadoop HDFS Federation联邦机制
最新发布
qq_33240556的博客
06-26 521
HDFS Federation通过引入多个独立的NameNode解决了这些问题，每个NameNode管理自己独立的命名空间（Namespace），这样就实现了命名空间的水平分割。每个命名空间都是一套完整的文件系统目录树，拥有自己的目录、文件和块信息。这些NameNode共享底层的DataNode存储资源，但它们之间的命名空间是逻辑上隔离的。
Hadoop生态圈（十）- HDFS Federation联邦机制
程序园@大Null
01-19 1678
HDFS Federation配置示例，HDFS Federation架构，HDFS Federation好处，当前HDFS体系架构
Hadoop3 集群搭建
weixin_42660202的博客
02-22 1874
Hadoop3集群
Hadoop集群搭建模式和各模式问题
weixin_46738406的博客
11-21 371
目录 分布式集群的通用问题 集群的搭建的集中通用模式 1、单机模式 2、伪分布式模式（搭建在了只有一个节点的集群中） 3、分布式模式 4、高可用模式 5、联邦模式 安装Hadoop集群中的一些通用问题 Linux环境变量加载的顺序 分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构，主从节点—管理者和工作者 问题：如果主节点或是管理者宕机了。会出现什么问题？ 群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题： 当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单
hadoop3.X版本特性：路由器联邦
nothair的博客
11-30 2228
2020/11/15 shq000912@163.com 文章目录一、路由器联邦（Router-based Federation/RBF）1.1背景1.2代理服务-Router层次设计1.3可用性和容错能力1.4接口1.5配额管理1.6 客户端-路由器配置(详见官网文档) 一、路由器联邦（Router-based Federation/RBF） 1.1背景 在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终
大规模数据处理：Hadoop的联邦机制
CodeHeroicX的博客
08-29 483
为了解决这些问题，Hadoop引入了联邦机制（Federation），允许将数据分布在多个独立的集群上，从而实现更高的性能和可扩展性。每个集群的主节点都维护着自己的命名空间和文件系统图，但它们之间会共享一些关键的元数据信息，例如文件和块的位置信息。这样，当一个集群需要访问另一个集群的数据时，它可以通过共享的元数据信息找到所需数据的位置，并将请求发送到相应的集群进行处理。Hadoop的联邦机制允许用户创建多个独立的Hadoop集群，每个集群都有自己的主节点（NameNode）和数据节点（DataNode）。
Hadoop集群安装四大模式
谦卑t
11-08 290
集群的安装模式：       1.单机模式：只需要解压即可用，没有分布式的文件系统，也没有namenode datanode Secondar等，文件系统就是linux/widows的本地文件系统。 用于：代码调试       2.伪分布式：有相关的hdfs或yarn的进程，这些进程全部在一个节点，存在分布式的文件系统的，只不过一个上的 特点：搭建比较简单，容易上手 用途：个人学习...
Hadoop-HDFS联邦
胡俊辉的博客
04-13 550
在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限。
Hadoop 2.0联邦机制
what_how_why2020的博客
02-18 1531
前言：Hadoop2.0中的联邦机制
《Hadoop权威指南》之Federation(联邦)初体验
凌夜知惜
03-09 354
当面度超大规模的存储时，HDFS的namenode节点的内存可能会吃不消，所以在Hadoop 2.x版本中提供了联邦来解决这个问题 解决思路是Federation允许HDFS集群添加多个Namnode来扩展集群即一个Namenode存不下太多的元数据就让多个Namenode来存储，每个Namenode只存储一部分 逻辑结构如下 一个Namenode存不下的元数据被分配到多个Namenod...
Hadoop笔记（5）HA和联邦机制
haveanybody的博客
04-25 1438
https://www.cnblogs.com/qcloud1001/p/7693476.html
hadoop Federation（联邦）简介
热门推荐
学习笔记
05-31 1万+
在hadoop1.x中HDFS的架构文件的存储是放在块上的（Block Storage） 文件的元数据是放在namenode上的，只有一个Namespace（命名空间）。随着HDFS的数据越来越多，单个namenode的资源使用必然会达到上限，而且namenode的负载能力也会越来越高，限制HDFS的性能。hdfs主要有两层架构： 1.命名空间（namespace） 由目录、文件、块组成。
Hadoop Federation联邦机制
雾幻的博客
03-27 5395
Hadoop1.0 单namenode架构局限性 NameSpace（命名空间的限制） 由于Namenode在内存中存储所有的元数据（metadata）。NN在管理大规模的命名空间时，单个Namenode所能存储的对象（文件+块）数目受到Namenode所在JVM的堆【内存大小的限制】。 随着数据的飞速增长，存储的需求也随之增长。50G的heap能够存储20亿个对象—&gt;4000个d...
hadoop单机模式搭建
04-30
要在单机上搭建Hadoop，可以按照以下步骤进行操作： 1. 安装Java 首先，需要安装Java。可以从Oracle官网下载Java的安装包，也可以使用操作系统自带的包管理器安装。 2. 下载Hadoop 从Hadoop官网下载最新的稳定版本。下载完成后，解压缩到指定目录中。 3. 配置环境变量 在.bashrc或.bash_profile文件中添加以下配置： ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 4. 配置Hadoop 进入Hadoop的conf目录，修改以下配置文件： - core-site.xml：设置Hadoop的I/O设置，如HDFS的默认文件系统。 - hdfs-site.xml：设置HDFS的相关设置，如副本数量等。 - mapred-site.xml：设置MapReduce的相关设置，如本地模式或分布式模式。 - yarn-site.xml：设置YARN的相关设置。 5. 格式化HDFS 在命令行中输入以下命令： ```bash hdfs namenode -format ``` 6. 启动Hadoop 在命令行中输入以下命令： ```bash start-all.sh ``` 以上就是在单机上搭建Hadoop的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值