HadoopHA（HDFS高可用）搭建

最新推荐文章于 2023-02-15 21:53:58 发布
最新推荐文章于 2023-02-15 21:53:58 发布
阅读量291 收藏
点赞数 2
分类专栏： 笔记 文章标签： hdfs hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45139790/article/details/105210566
版权

HadoopHA（HDFS高可用）

HDFS高可用环境搭建

一、克隆虚拟机

准备三台虚拟机

二、修改虚拟机相关配置

1.修改虚拟机ip地址
在这里插入图片描述
在这里插入图片描述
2.删除70-persistent-net.rules文件
在这里插入图片描述
3.修改虚拟机名称
在这里插入图片描述
在这里插入图片描述
4.修改hosts文件，将IP地址与主机名相映射
在这里插入图片描述
在这里插入图片描述
5.重启虚拟机
在这里插入图片描述
6.ping一下外网，看是否连接上网络
在这里插入图片描述
其余两台虚拟机也是上述配置，但需要保证三台虚拟机IP地址不同。这里我配置了/etc/sudoers文件，使得普通用户有了和root用户同样的权限，如果你使用的是root用户，可以省略掉sudo操作。

ssh免密码登陆设置

1.生成密钥
在这里插入图片描述
一路回车，直到出现如图所示的情况。
2.将公钥追加到其他两台机器上（包括自己）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置完成后登录到另外两台机器，不再需要密码
在这里插入图片描述
另外两台机器也是同样的配置。

配置jdk环境变量

1.进入hadoop21的/opt目录下，创建software和module两个文件夹
在这里插入图片描述
在这里插入图片描述
2.上传hadoop、zookeeper和jdk的tar.gz包到hadoop21的/opt/software目录下在这里插入图片描述
3.解压jdk到/opt/module目录
在这里插入图片描述
4.配置jdk环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

配置zookeeper

1.解压zookeeper到/opt/module
在这里插入图片描述
2.配置zookeeper环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.进入zookeeper的conf目录，将zoo_sample.cfg改名为zoo.cfg，配置zoo.cfg
在这里插入图片描述
4.在zookeeper目录下创建tmp/zookeeper文件夹，并在该目录下创建一个myid文件，内容为1
在这里插入图片描述
在这里插入图片描述

配置hadoop

1.解压hadoop到/opt/module
在这里插入图片描述
2.配置hadoop环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.在hadoop.env.sh中配置jdk环境变量
在这里插入图片描述
在这里插入图片描述
4.配置core-site.xml，配置内容如下

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/tmp</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop21:2181,hadoop22:2181,hadoop23:2181</value>
</property>
</configuration>

5.配置hdfs-site.xml，配置内容如下

<configuration>
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop21:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop21:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop22:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop22:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop21:8485;hadoop22:8485;hadoop23:8485/mycluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/module/hadoop-2.7.2/journaldata</value>
</property>
<!--开启namenode失败自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置失败自动切换实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制方式，多个机制用换行分隔，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!--使用sshfence隔离机制时需要ssh免登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/ysz/.ssh/id_rsa</value>
</property>
<!--配置sshfence隔离机制超时时间-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

6.将mapred-site.xml.template改名为mapred-site.xml，配置内容为

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

7.配置yarn-site.xml，配置内容为

<configuration>

<!-- Site specific YARN configuration properties -->
<!--开启RM高可用-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--指定RM的cluster id-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!--指定RM的名字-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--分别指定RM的地址-->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop21</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop22</value>
</property>
<!--指定zk集群地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop21:2181,hadoop22:2181,hadoop23:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

8.配置slaves
在这里插入图片描述
在这里插入图片描述
9.创建masters文件，并配置
在这里插入图片描述
在这里插入图片描述
注意：另外两台机器的环境变量和hadoop21相同，配置好环境变量，都要执行source /etc/profile命令

将module文件夹分发到另外两台机器

在这里插入图片描述
在这里插入图片描述
进入hadoop22机器上的zookeeper相应目录，修改myid文件
在这里插入图片描述
进入hadoop23机器上的zookeeper相应目录，修改myid文件
在这里插入图片描述

启动zookeeper集群

每台机器上分别执行zkServer.sh start命令，用jps命令查看是否启动成功
在这里插入图片描述

在每台机器上启动journalnode

在这里插入图片描述

在hadoop21上格式化namenode

在这里插入图片描述

将hadoop21中的元数据复制到hadoop22上

在这里插入图片描述

在hadoop21上格式化ZKFC

在这里插入图片描述

在hadoop21上启动hdfs

在这里插入图片描述

在hadoop21上启动yarn

在这里插入图片描述

在hadoop22上启动resourcemanager

在这里插入图片描述

登录到192.168.230.21:50070和192.168.230.22:50070

在这里插入图片描述
在这里插入图片描述
可以看到，hadoop21上的namenode为active，hadoop22上的namenode为standby

用kill -9命令杀掉hadoop21上的namenode

在这里插入图片描述
刷新192.168.230.22:50070，可以看到为active状态。到此HadoopHA（HDFS高可用）搭建完成！
在这里插入图片描述

南城西街
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs的高可用搭建
10-17
关于hdfs的高可用搭建文档，详细介绍了hdfs如何搭建ha
HDFS 高可用分布式环境搭建
Practitioner
09-07 489
我们再新建一个用户 good ，并且将 good 加入 ooxx 这个组，good 这个用户就可以正常上传文件到。在 node01，node02，node03 上分别启动 journalnode。在 node02，node03，node04 上分别启动 zookeeper。在 node02，node03，node04 下配置环境变量。安装包上传到 node02，node03，node04 的。我们选择 node02，在 node02 上执行。测试，在 node01 上，执行如下命令，
HDFS高可用性分布式环境搭建
qq_41609775的博客
09-06 307
1.HDFS高可用简介 在 Hadoop 1.X版本中，NameNode是整个HDFS集群的单点故障（single point of failure，SPOF）：每一个HDFS集群只能有一个NameNode节点，一旦NameNode所在服务器宕机或者出现故障将导致整个集群都不可用，除非重启或者开启一个新的Namenode集群才能够恢复可用。NameNode单点故障对HDFS集群的可用性产生影响主要...
HDFS高可用搭建
weixin_47260194的博客
02-26 1184
HDFS HA高可用集群部署
HDFS高可用集群搭建
随我的博客
05-24 720
环境 CentOS 7 JAVA 1.8 Zookeeper 2.9.2 Hadoop 3.4.14 一、简单HDFS集群中存在的问题及解决办法 如何解决NameNode的单节点问题 多个NameNode备份原NameNode数据 如何解决多个NameNode是集群脑裂问题 使用QJM，QJM（Quorum Journal Manager）是Hadoop专门为Namenode共享存储开发的组件。其集群运行一组Journal Node，每个Journal 节点暴露一个简单的RPC接口，允许N.
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
hadoop高可用搭建文档
10-10
在大数据处理领域，Hadoop是不可或缺的核心组件，其高可用性（High Availability, HA）功能是确保服务不中断的关键。本篇文章将详细讲解如何搭建Hadoop的高可用环境，适用于生产环境，即使面对高版本的Hadoop，也...
Hadoop集群高可用的搭建
最新发布
05-31
本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High Availability）集群，以及NameNode和ResourceManager的高可用设置。 HDFS-HA的核心问题是确保数据一致性、主动/备用...
HDFS高可用分布式的搭建
ljy_1997的博客
10-13 173
HDFS高可用分布式的搭建 注：此工作的搭建基于完全分布式的基础之上。 参考链接：https://mp.csdn.net/postedit/83003119 集群规划： (1) 配置免密登录 （如果操作失败，搞乱了各个节点的密钥，删除 .ssh/目录下文件重新配置） node01-&gt;node01 node01-&gt;node02 node01-&gt;node03 node01...
Hadoop 2.6.5 hdfs 高可用搭建
无境
10-15 222
Hadoop 2.0 产生背景 Hadoop1.0中的HDFS和MapReduce在高可用，扩展性等方面存在问题 HDFS存在两个问题： NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影响扩展性 F MapReduce 存在的问题响系统 JobTracker访问压力大，影响系统扩展性 难以支持除MapReduce之外的计算框架，比如 Spark...
【hadoop】HDFS-HA工作机制
SmallScorpion
09-07 723
一、HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群： 1. NameNode机器发生意外，如...
HDFS高可用完全分布式搭建
Kimshell
12-26 340
教程集群规划配置免密登录所有节点配置JDK配置hadoop搭建zookeeper集群格式化验证HA故障自动切换注意点 集群规划 配置免密登录 node01-&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;node01 node01-&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;node02 node01-&amp;amp;amp;amp;am
【Hadoop 3】HDFS 高可用环境搭建（详细图文教程）
Zhou_LC的博客
10-30 4016
文章目录1 预先说明1.1 软件版本说明1.2 集群配置说明2 集群规划3 搭建环境3.1 修改配置文件3.2 zookeeper 的安装与配置 1 预先说明 1.1 软件版本说明 操作系统：CentOS-7-x86_64-DVD-1804.iso JDK：jdk-8u202-linux-x64.tar.gz Hadoop：hadoop-3.1.3.tar.gz zookeeper：apache-zookeeper-3.7.0-bin.tar.gz 1.2 集群配置说明 之前已经配置过 Hadoop 完
HDFS HA搭建（高可用）
wyzfj520的博客
04-13 194
ZK NN DN RM NM JN ZKFC master 1 1 1 1 1 node1 1 1 1 1 1 1 1 node2 1 1 1 1 注意： 操作前需要保存一下之前的快照 jdk hosts 1、防火墙 service iptables stop 2、时间同步 yum install ntp ...
高可用HDFS完全分布式搭建
Chris_MZJ的博客
10-14 339
下面介绍高可用HDFS完全分布式的搭建步骤： 第一步：在VmVare中安装四台CentOs6.5,主机名分别为node1,node2,node3,node4，(这样配置主机名是为了搭建的时候方便和节点关联)。 第二步：分别配置这四台主机的网络。 修改/etc/sysconfig/network-scripts/下的ifcfg-eth0文件,使ONBOOT=yes，BOOTPROTO=none，再添...
HDFS高可用性的完全分布式搭建过程
背着梦的幸存者
10-11 1833
提前准备 1、准备四台centos服务器（一个wmware启动四个服务器就行） 2、关闭防火墙 3、配置静态ip 4、更改主机名 5、准备好jdk压缩包 6、准备一个hadoop压缩包 （本部分可参考本人上一篇博客：HDFS完全分布式搭建过程） 集群规划图 实验步骤 1、配置免密登录 node01-&amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;node01 node01-&amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;no
从零开始搭建HDFS高可用（HA）环境（使用QJM）
带翅膀的猫的博客
07-24 3959
背景 &amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;在Hadoop 1.x 中，Namenode是集群的单点故障，一旦Namenode出现故障，整个集群将不可用，重启或者开启一个新的Namenode才能够从中恢复。值得一提的是，Secondary Namenode并没有提供故障转移的能力。集
大数据框架之Hadoop：HDFS（八）HDFS HA高可用
yiluohan0307的专栏
02-15 1187
HDFS HA高可用
Hadoop2.8.5的HDFS的高可用集群搭建(HDFS HA)
天涯芳草
03-20 655
HDFS结合Zookeeper实现故障转移 HDFS HA集群角色的分配(在搭建好的集群的基础上进行修改相应的配置文件) 节点 角色 centoshadoop1 NameNode DataNode JournalNode zkfc cen...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值