Hadoop HA高可用搭建流程

最新推荐文章于 2024-05-14 16:01:06 发布
最新推荐文章于 2024-05-14 16:01:06 发布
阅读量162 收藏 2
点赞数 6
分类专栏： Hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43777152/article/details/109188404
版权

一、HDFS-HA集群配置
1.环境准备

  1. 修改IP

  2. 修改主机名及主机名和IP地址的映射

  3. 关闭防火墙

  4. ssh免密登录

  5. 安装JDK，配置环境变量等

2.规划集群

在这里插入图片描述
3.配置Zookeeper集群

  1. 集群规划
    在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

  2. 解压安装
    （1）解压Zookeeper安装包到/opt/module/目录下

[jinghang@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData

mkdir -p zkData

（3）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg
  1. 配置zoo.cfg文件
    （1）具体配置
dataDir=/opt/module/zookeeper-3.4.10/zkData

增加如下配置

#######################cluster##########################

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

server.4=hadoop104:2888:3888

（2）配置参数解读

Server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

B是这个服务器的IP地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

  1. 集群操作
    （1）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件
touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

（2）编辑myid文件

vi myid

在文件中添加与server对应的编号：如2

（3）拷贝配置好的zookeeper到其他机器上

scp -r zookeeper-3.4.10/ root@hadoop103.jinghang.com:/opt/app/

scp -r zookeeper-3.4.10/ root@hadoop104.jinghang.com:/opt/app/

并分别修改myid文件中内容为3、4

（4）分别启动zookeeper

[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start

[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start

[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start

（5）查看状态

[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg

Mode: follower

[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg

Mode: leader

[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status

JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg

Mode: follower

4.配置HDFS-HA集群

  1. 官方地址：http://hadoop.apache.org/

  2. 在opt目录下创建一个ha文件夹

mkdir ha
  1. 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下
cp -r hadoop-2.7.2/ /opt/ha/
  1. 配置hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
  1. 配置core-site.xml
<configuration>

<!-- 把两个NameNode）的地址组装成一个集群mycluster -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

 

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/ha/hadoop-2.7.2/data/tmp</value>

</property>

</configuration>
  1. 配置hdfs-site.xml
<configuration>

<!-- 完全分布式集群名称 -->

<property>

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>

 

<!-- 集群中NameNode节点都有哪些 -->

<property>

<name>dfs.ha.namenodes.mycluster</name>

<value>nn1,nn2</value>

</property>

 

<!-- nn1的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>hadoop102:9000</value>

</property>

 

<!-- nn2的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>hadoop103:9000</value>

</property>

 

<!-- nn1的http通信地址 -->

<property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

<value>hadoop102:50070</value>

</property>

 

<!-- nn2的http通信地址 -->

<property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

<value>hadoop103:50070</value>

</property>

 

<!-- 指定NameNode元数据在JournalNode上的存放位置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>

</property>

 

<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

 

<!-- 使用隔离机制时需要ssh无秘钥登录-->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/jinghang/.ssh/id_rsa</value>

</property>

 

<!-- 声明journalnode服务器存储目录-->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/opt/ha/hadoop-2.7.2/data/jn</value>

</property>

 

<!-- 关闭权限检查-->

<property>

<name>dfs.permissions.enable</name>

<value>false</value>

</property>

 

<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->

<property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

</configuration>
  1. 拷贝配置好的hadoop环境到其他节点

5.启动HDFS-HA集群

  1. 在各个JournalNode节点上，输入以下命令启动journalnode服务
sbin/hadoop-daemon.sh start journalnode
  1. 在[nn1]上，对其进行格式化，并启动
bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode
  1. 在[nn2]上，同步nn1的元数据信息
bin/hdfs namenode -bootstrapStandby
  1. 启动[nn2]
sbin/hadoop-daemon.sh start namenode
  1. 查看web页面显示，如图所示

在这里插入图片描述

  1. 在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode
  1. 将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1

8.查看是否Active

bin/hdfs haadmin -getServiceState nn1

6.配置HDFS-HA自动故障转移

  1. 具体配置

（1）在hdfs-site.xml中增加

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

（2）在core-site.xml文件中增加

<property>

<name>ha.zookeeper.quorum</name>

<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>

</property>
  1. 启动

（1）关闭所有HDFS服务：

sbin/stop-dfs.sh

（2）启动Zookeeper集群：

bin/zkServer.sh start

（3）初始化HA在Zookeeper中状态：

bin/hdfs zkfc -formatZK

（4）启动HDFS服务：

sbin/start-dfs.sh
  1. 验证

（1）将Active NameNode进程kill

kill -9 namenode的进程id

（2）将Active NameNode机器断开网络

service network stop

二、配置YARN-HA集群

  1. 环境准备

（1）修改IP

（2）修改主机名及主机名和IP地址的映射

（3）关闭防火墙

（4）ssh免密登录

（5）安装JDK，配置环境变量等

（6）配置Zookeeper集群

  1. 规划集群

在这里插入图片描述

  1. 具体配置

（1）yarn-site.xml

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--启用resourcemanager ha-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

<!--声明两台resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster-yarn1</value>
</property>

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop102</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop103</value>
</property>

<!--指定zookeeper集群的地址--> 
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>

<!--启用自动恢复--> 
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<!--指定resourcemanager的状态信息存储在zookeeper集群--> 
<property>
<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

</configuration>

（2）同步更新其他节点的配置信息

  1. 启动hdfs

（1）在各个JournalNode节点上，输入以下命令启动journalnode服务：

sbin/hadoop-daemon.sh start journalnode

（2）在[nn1]上，对其进行格式化，并启动：

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

（3）在[nn2]上，同步nn1的元数据信息：

bin/hdfs namenode -bootstrapStandby

（4）启动[nn2]：

sbin/hadoop-daemon.sh start namenode

（5）启动所有DataNode

sbin/hadoop-daemons.sh start datanode

（6）将[nn1]切换为Active

bin/hdfs haadmin -transitionToActive nn1

5.启动YARN

（1）如果之前启动了HDFS服务，关闭所有HDFS服务：

sbin/stop-dfs.sh

（2）再启动各台服务器中的Zookeeper集群：

bin/zkServer.sh start

（3）在任意服务器初始化HA在Zookeeper中状态：

bin/hdfs zkfc -formatZK

（4）在namenode所在的节点启动HDFS服务：

sbin/start-dfs.sh

（1）在resourcemanager所在的服务器执行：

sbin/start-yarn.sh

（2）确保两个resourcemanager都启动了，如果没有启动手动开启：

sbin/yarn-daemon.sh start resourcemanager

（3）查看服务状态，如图所示

bin/yarn rmadmin -getServiceState rm1
augie_ly
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HADOOP高可用搭建过程
yaellesydi的博客
06-19 361
第一章 vmware安装与Linux基础配置 1.1下载安装vmware 照着步骤 教程 xshell： 教程 xftp： 教程 1.2：新建虚拟机 教程： 1.3初步配置Linux 1.3.1启动虚拟机，配置IP 1、修改网络配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0 linux主机刚安装好时，ONBOOT属性的缺省值为no，需要修改为yes，BOORPROTO缺省值为dhcp，需要修改为static。 然后设置IP地址，网络掩码，网关等。 2、重
HDFS HA高可用集群配置
qq_42387496的博客
09-11 340
HDFS HA高可用（NameNode） HDFS HA高可用配置 HDFS HA高可用（NameNode） HDFS HA高可用配置目录 一、配置zookeeper集群，启动zookeeper的集群环境 1. 集群规划 2. 解压安装 3. 配置zoo.cfg文件 4. 集群操作 二、配置HDFS-HA集群 1，备份hadoop 2，删除集群中另外两个节点的hadoop-2.7.2 3，配置core-...
HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式）_hadoop ha(1)
最新发布
2401_84185471的博客
05-14 411
报错了：看看是否是hdfs-site.xml里面写错了，果然namenode打成了namenodes,修改过来重启，成功了既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取[外链图片转存中…(img-WbNXB72b-1715673643592)]
Hadoop-HA搭建流程
zy_remarkable的博客
07-26 244
1.创建软连接：指向hadoop_cluster_HA 2.修改【hdfs-site.xml】 &lt;property&gt; &lt;name&gt;dfs.nameservices&lt;/name&gt; &lt;value&gt;mycluster&lt;/value&gt; &lt;/property&gt; //指定两个namenode的唯一标识：注意一...
HadoopHa的搭建过程
weixin_45240507的博客
10-20 167
前提： 将原有的装好zookeeoer的三台虚拟机关闭加入快照，以防万一 一：关闭防火墙 service tables stop 二：时间同步 重点：【三台虚拟机都要操作】 yum install ntp ntpdate -u s2c.time.edu.cn date可以查看时间 3、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-i...
HadoopHA高可用完全分布式搭建
01-07
1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? 二、配置JDK、Hadoop、以及Zookeeper环境变量 在四台节点上配置好JDK、Hadoop以及ZookeeperZookeeper环境...
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件
07-02
参照https://blog.csdn.net/hliq5399/article/details/78193113搭建 hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件 可用于检查 或直接复制粘贴拿来用，需要注意的是，环境变量需要检查和配置。
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
hadoop高可用搭建文档
10-10
在大数据处理领域，Hadoop是不可或缺的核心组件，其高可用性（High Availability, HA）功能是确保服务不中断的关键。本篇文章将详细讲解如何搭建Hadoop的高可用环境，适用于生产环境，即使面对高版本的Hadoop，也...
hadoop-HA集群搭建步骤
Ele_sorriu的博客
11-06 2万+
**注意:要先安装配置好zooekeeper集群,详情请点链接:link. ** hadoop-HA集群搭建步骤 hadoop-HA集群搭建步骤 修改core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 修改slaves 将软件拷贝到所有节点 配置免密码登陆 启动zookeeper集群（分别在node01、node02、node03上启动zk） 手动启动journalnode（分别在在node01、node02.
HA高可用集群详细搭建过程及配置文件简介（附带各种组件的安装配置）
Luffy_captain的博客
09-29 1100
配置网络 保证可以ping通外网，关闭防火墙，然后用xshell来操作 //配置的ip、网关等信息 vim /etc/sysconfig/network-scripts/ifcfg-eth0 //网卡 DEVICE=eth0 //是否开机启动 ONBOOT=yes //ip地址 IPADDR=192.168.0.100 //子网掩码 NETMASK=255.255.255.0 ...
【HDFS篇12】HA高可用 --- HDFS-HA集群配置
FocusBigData博客
07-13 593
保持自己的节奏前进就对了 HDFDS-HA集群配置 (一)环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK，配置环境变量等 (二)规划集群 看出我们将NameNode分布到两台机器上，保证集群的高可用性 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode ZK .
CentoOS6下搭建hadoop高可用平台——含多种错误解决方法
weixin_44926307的博客
06-17 1344
@Hadoop高可用搭建 CentOS6下搭建高可用平台 你好！ 本篇文章主要对完全分布式Hadoop集群环境的安装与配置步骤进行介绍。 本文章的特点是，在实践过程中出现的错误进行 分析，对常见问题进行了解决，希望可以帮到大家。 hostname idadderess node01 namenode node02 namenode 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性（三）
skyWalker_ONLY
10-17 3422
在学习了如何配置HA后，接下来是启动和管理HA。要启动HA集群，首先要在所有运行JournalNode的主机上启动JournalNodes守护进程，可以在每台主机上执行命令hdfs journalnode启动journalnode守护进程。在journalnode守护进程启动完成之后，必须首先同步两个 NameNode硬盘上的元数据，具体如下： l  如果正在搭建全新的HDFS集群，应该首先在其
hdfs常用初始化命令解释
a166244的博客
08-18 494
新的HDFS集群，还要首先执行格式化命令 hdfs namenode -format 把该NameNode的数据同步到另一个没有格式化的NameNode，在未格式化过的NameNode上执行命令 hdfs namenode -bootstrapStandby 初始化JournalNode中的数据 hdfs –initializeSharedEdits...
Hadoop-HA模式（详解）
热门推荐
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8487
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
9、hadoop高可用HA集群部署及三种方式验证
05-29
HA集群规划 在部署Hadoop高可用（HA）集群之前，首先需要进行规划。本文将以三节点的HA集群为例进行介绍，其中...通过本文提供的步骤和方法，可以帮助您快速搭建一个高可用的Hadoop集群，并确保数据的安全和可靠性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值