2. hadoop 3.x HDFS HA高可用集群（手工切换）搭建

已于 2022-08-25 12:29:31 修改
阅读量1.8k 收藏 1
点赞数 3
分类专栏： # hadoop知识笔记 文章标签： hadoop hdfs 大数据
于 2018-06-01 13:52:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cl2010abc/article/details/80533789
版权
一. 实验环境
hadoop1: 192.168.40.144
hadoop2: 192.168.40.145
hadoop3：192.168.40.146
操作系统: centos7
hadoop版本: apache-hadoop-3.2.4
jdk版本：1.8
二. 安装步骤
1. 集群节点角色
主机名角色
hadoop1NameNode, DataNode, JournalNode
hadoop2NameNode, DataNode, JournalNode
hadoop3NameNode, DataNode, JournalNode
2.安装jdk

jdk的安装过程此处不赘述，不熟悉的话可以参考网上的资料。

3.修改主机映射并配置ssh免密码登录

为了方便配置信息的维护，我们在hadoop配置文件中使用主机名来标识一台主机，那么我们需要在集群中配置主机与ip的映射关系。
修改集群中每台主机/etc/hosts文件，添加如下内容。

192.168.40.144 hadoop1
192.168.40.145 hadoop2
192.168.40.146 hadoop3

集群在启动的过程中需要ssh远程登录到别的主机上，为了避免每次输入对方主机的密码，我们需要对hadoop1配置免密码登录
在hadoop1上生成公钥。

ssh-keygen

一路enter确认即可生成对应的公钥。

将hadoop1的公钥拷贝到hadoop2, hadoop3 节点上。

ssh-copy-id  -i  ~/.ssh/id_rsa.pub  root@hadoop1
ssh-copy-id  -i  ~/.ssh/id_rsa.pub  root@hadoop2
ssh-copy-id  -i  ~/.ssh/id_rsa.pub  root@hadoop3
4.完成配置hadoop配置,并复制到其余节点

下载hadoop 安装包，版本为3.2.4。

  • 解压安装包

    tar xf hadoop-3.2.4.tar.gz

  • 修改etc/hadoop/hadoop-env.sh

    export JAVA_HOME=/opt/jdk1.8.0_91

  • 修改etc/hadoop/core-site.xml

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-3.2.4/data</value>
</property>
<property>
    <name>ipc.client.connect.max.retries</name>
    <value>20</value>
</property>
<property>
    <name>ipc.client.connect.retry.interval</name>
    <value>5000</value>
</property>

    fs.defaultFS这里没有指定具体的namenode，hdfs://mycluster相当于对nn1，nn2和nn3起了一个虚拟名字。在hdfs-site.xml中会对mycluster进行具体的配置。

  • 修改etc/hadoop/hdfs-site.xml

    <!--配置NameNode,DataNode,JournalNode数据存储的目录 -->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file://${hadoop.tmp.dir}/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file://${hadoop.tmp.dir}/data</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>${hadoop.tmp.dir}/journalnode</value>
</property>

<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2,nn3</value>
</property>
<!--Namenode RPC通信地址-->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>hadoop1:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>hadoop2:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn3</name>
	<value>hadoop3:8020</value>
</property>

<!--Namenode HTTP通信地址-->
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>hadoop1:9870</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>hadoop2:9870</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn3</name>
	<value>hadoop3:9870</value>
</property>

<!-- journalnode 配置 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/mycluster</value>
</property>

<!--访问代理类: client用于确定哪个Namenode是Active -->
<property>
	<name> dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property>

<!-- 配置隔离机制 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

  • 修改etc/hadoop/works

    hadoop1
hadoop2
hadoop3

  • 将配置好的hadoop安装包拷贝到hadoop2和hadoop3上

    scp -r /opt/hadoop-3.2.4  root@hadoop1:/opt
scp -r /opt/hadoop-3.2.4  root@hadoop2:/opt
5.启动集群

  • 启动所有JournalNode

    [root@hadoop1 hadoop]# hdfs --daemon start journalnode
[root@hadoop2 hadoop]# hdfs --daemon start journalnode
[root@hadoop3 hadoop]# hdfs --daemon start journalnode

  • 格式化namenode nn1

    [root@hadoop1 hadoop]# hdfs namenode -format

  • 在nn2 和 nn3同步nn1的元数据信息

    [root@hadoop2 hadoop]# hdfs namenode -bootstrapStandby
[root@hadoop3 hadoop]# hdfs namenode -bootstrapStandby

  • 启动nn2和nn3

    [root@hadoop2 hadoop]# hdfs --daemon start namenode
[root@hadoop3 hadoop]# hdfs --daemon start namenode

  • 启动datanode

    [root@hadoop1 hadoop]# hdfs --daemon start datanode
[root@hadoop2 hadoop]# hdfs --daemon start datanode
[root@hadoop3 hadoop]# hdfs --daemon start datanode

  • 查看web界面，此时三个namenode处于standby状态
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 将nn1切换为active状态

    [root@hadoop1 hadoop-3.2.4]# hdfs haadmin -transitionToActive nn1
# 查看所有namenode的状态
[root@hadoop1 hadoop-3.2.4]# hdfs haadmin -getAllServiceState
hadoop1:8020                                       active
hadoop2:8020                                       standby
hadoop3:8020                                       standby

  • 再次查看web界面，此时nn1处于active状态，nn2 和 nn3处于standby状态
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

6.验证HDFS功能
# 向HDFS集群上传文件
[root@hadoop1 hadoop-3.2.4]# hdfs dfs -put a.txt /input
[root@hadoop1 hadoop-3.2.4]# hdfs dfs -ls /input
Found 1 items
-rw-r--r--   3 root supergroup          0 2022-08-24 19:56 /input/a.txt
三. HA手工切换

  1. 手动将active 节点从nn1 切换到 nn2

    [root@hadoop1 hadoop-3.2.4]# hdfs haadmin -failover nn1 nn2
Failover from nn1 to nn2 successful

  2. 查看web界面，此时nn2处于active状态，nn1和nn3处于standby状态
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  3. 再次验证HDFS功能

    # 向HDFS集群上传文件
[root@hadoop1 hadoop-3.2.4]# hdfs dfs -put b.txt  /input
[root@hadoop1 hadoop-3.2.4]# hdfs dfs -ls  /input
Found 2 items
-rw-r--r--   3 root supergroup          0 2022-08-24 19:56 /input/a.txt
-rw-r--r--   3 root supergroup          0 2022-08-24 20:05 /input/b.txt
苍老流年
关注
专栏目录
HDFS集群搭建（HA）与启动
06-24 1363
在文章http://blog.csdn.net/u013063153/article/details/73611549写到了非HA集群的搭建。 现利用Zookeeper做HA，搭建HDFS集群。需要修改之前的配置。 1.进入etc/hadoop/目录，干掉masters文件(此文件是存放Secondary NameNode的) cd etc/hadoop/ rm -rf /home/had
一篇搞定，Hadoop高可用集群搭建及API调用，超详细
最新发布
mrcool2012的博客
07-21 826
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNameNode会对fsimage和edits文件进行合并，并推送给NameNode，防止因edits文件过大，导致NameNode重启变慢),这是Hadoop1的不可靠实现。
Linux -- 之HDFS实现自动切换HA（全新HDFS）
Loneliness Ends HUHU
06-11 524
                Linux -- 之HDFS实现自动切换HA（全新HDFS）JDK规划                1.7及以上  https://blog.csdn.net/meiLin_Ya/article/details/80650945防火墙规划    系统防火墙关闭SSH免密码规划            hadoop01（nn1）--&gt; hadoop01（nn1）...
hdfs ha 手动切换
sdaddasd的博客
05-23 373
hdfs haadmin -failover --forcefence --forceactive nn2 nn1
由于hadoop高可用状态切换，导致hive在指定数据库下建立以及读取表失败
cuichunchi的博客
03-14 585
问题描述：因为cdh集群，hadoop启用了HA高可用，之前node1节点为active，现在变成了node2节点为standby。而且之前hive建库的时候，LOCATION=hdfs://node1:8020/user/warehouse/dir.....定位：由于配置文件hive-site.xml、core-site.xml、hdfs-site.xml等有关配置文件都替换了最新，都是配置了hdfs://高可用地址/导致库里面的表默认都是获取DB的location来拼接的表的hdfs路径。
Hadoop HA (二) --------- HDFS-HA 手动模式
在森林里麋了鹿
07-30 941
HDFS-HA 手动模式
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2594
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
HadoopHA高可用集群配置 hdfs-site.xml
07-07
### Hadoop HA高可用集群配置详解 #### 一、引言 在大数据处理领域，Hadoop作为一款开源软件框架，以其高效稳定的数据处理能力而受到广泛欢迎。而在实际生产环境中，为了确保系统的高可用性和数据的安全性，通常会...
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
在构建高可用（HA）Hadoop集群时，HDFS（Hadoop Distributed File System）HA配置是关键步骤，目的是确保即使NameNode节点发生故障，数据访问和服务也不会中断。本教程将详细讲解如何配置、启动和验证Hadoop HA集群...
hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx
05-11
在搭建Hadoop 2.5.2环境的过程中，我们需要经历几个关键步骤，包括本地模式、伪分布式集群和分布式集群的设置，以及HDFS系统的高可用性配置。首先，确保你的系统已经安装了JDK 1.8，因为Hive等组件需要1.7以上的版本...
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3336
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
（十一）大数据实战——hadoop高可用之HDFS手动模式高可用
厉害哥哥的博客
08-02 1188
本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用，HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode很快的切换到另外一台机器，并通过JournalNode实现主备节点的数据同步。
11. HDFS主要流程之HA切换流程
ZJ__ZFH的博客
12-15 868
在Hadoop 2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，即每个HDFS集群中只有一个Namenode，一旦这个节点不可用，整个HDFS集群就将处于不可用状态。HDFS的高可用(High Availability，HA)方案就是为了解决上述问题而产生的，下图给出了一个HA HDFS集群，图片来源https://issues.apache.org/jira/...
Hadoop HA模式切换
weixin_42151880的博客
08-29 881
Hadoop ha模式下 主节点的主备切换
已经是高可用的集群namenode切换active状态。
weixin_62882091的博客
12-24 762
已经是高可用的集群namenode切换active状态。
Hadoop HA集群 NameNode 无法自动故障转移（切换active）
Never-Say-Never
01-03 4041
在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html配置，最后所有的节点都启动正常。 用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的...
HDFS NN切换到HA的过程（CDH）
mnasd的博客
07-13 819
一、在主页上找到“启动High Availablity”二、选择新增角色NN backup和3个JournalNode的节点三、确定新增实例的目录
Hadoop-HDFS集群搭建(HA模式搭建)
qq_40616823的博客
12-12 1765
一、HA集群搭建节点分布 这里准备4台物理机，对图上的意思进行讲解： node1机器中需要搭建NN角色、JN角色、ZKFC角色。 node2机器中需要搭建NN角色、JN角色、DN角色、ZKFC角色、ZK角色。 node3机器中需要搭建JN角色、DN角色、ZK角色。 node4机器中需要搭建DN角色、ZK角色。 搭建过程可以参考文档：https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabi
Hadoop集群 手动主备切换 （Active - Standby）
热门推荐
XIATWO
11-20 1万+
操作描述： 手动切换 node01 备用节点 StandbyNameNode 为 主节点 ActiveNameNode，node02为备用节点SNN 解决方案： 方案一：命令切换 查看节点状态 hdfs haadmin -getServiceState nn1 命令切换节点状态 到 hadoop 目录下执行： 1、将 NN2 切换为 Standby 备用节点 bin/hdfs haadmin -transitionToStandby --forcemanual nn2 2、将 NN1 切换为 Ac
Hadoop2.x高可用(HA)集群配置实战
"本文档主要介绍了如何在Hadoop2.x版本中搭建高可用(HA)环境，包括HDFS的HA和ZooKeeper的配置。" 在Hadoop2.x中，为了提高系统的稳定性和可靠性，通常会采用High Availability (HA)模式，确保NameNode的冗余，避免...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值