HA 高可用集群搭建(详细教程)

最新推荐文章于 2024-05-17 23:17:03 发布
置顶 最新推荐文章于 2024-05-17 23:17:03 发布
阅读量1.4k 收藏 13
点赞数 1
分类专栏： 集群搭建 文章标签： hadoop 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_ge_zui_liang/article/details/106618840
版权

hadoop的高可用HA集群搭建（详细）


本文以两台namenode(c01,c02)及两台resourcemanager(c03,c04)为例：

准备工作及zookeeper集群搭建

这些步骤点击此处去详细了解并配置

进行hadoop配置基本文件

需要配置如下文件：
hadoop-env.sh
mapred-env.sh
yarn-env.sh
slaves
mapred-site.xml

hadoop-env.sh

[root@c01 hadoop]# vi hadoop-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

mapred-env.sh

[root@c01 hadoop]# vi mapred-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

yarn-env.sh

[root@c01 hadoop]# vi yarn-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

slaves

[root@c01 hadoop]# vi ./slaves 

c01
c02
c03
c04

mapred-site.xml

[root@c01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@c01 hadoop]# vi mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>c01:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>c01:19888</value>
</property>
</configuration>

core-site.xml

[root@c01 hadoop]# vi ./core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<!-- hadoop运行时存储路径 -->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/bigdata/hadoop260/hadoopdata</value>
</property>
<property>
   <name>dfs.journalnode.edits.dir</name>
   <value>/opt/bigdata/hadoop260/hadoopdata/jn</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
<!-- 指定 zookeeper 集群访问地址 -->
 <property>
   <name>ha.zookeeper.quorum</name>
   <value>c01:2181,c02:2181,c03:2181,c04:2181</value>
 </property>
</configuration>

hdfs-site.xml

[root@c01 hadoop]# vi ./hdfs-site.xml

<configuration>
 <property>
     <name>dfs.replication</name>
     <value>1</value>
 </property>

<!--指定 hdfs 的 nameservice 为 mycluster，需要和 core-site.xml 中保持一致-->
 <property>
     <name>dfs.nameservices</name>
     <value>mycluster</value>
 </property>

 <!-- mycluster 下面有两个 NameNode，分别是 nn01，nn02 -->
 <property>
     <name>dfs.ha.namenodes.mycluster</name>
     <value>nn01,nn02</value>
 </property>

 <!-- nn1 的 RPC 通信地址 -->
 <property>
     <name>dfs.namenode.rpc-address.mycluster.nn01</name>
     <value>c01:9000</value>
 </property>
 <!-- nn1 的 http 通信地址 -->
 <property>
     <name>dfs.namenode.http-address.mycluster.nn01</name>
     <value>c01:50070</value>
 </property>
 <!-- nn2 的 RPC 通信地址 -->
 <property>
     <name>dfs.namenode.rpc-address.mycluster.nn02</name>
     <value>c02:9000</value>
 </property>
 <!-- nn2 的 http 通信地址 -->
 <property>
     <name>dfs.namenode.http-address.mycluster.nn02</name>
     <value>c02:50070</value>
 </property>

 <!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 -->
 <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>qjournal://c01:8485;c02:8485;c03:8485;c04:8485/mycluster</value>
 </property>

 <!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
 <property>
     <name>dfs.journalnode.edits.dir</name>
     <value>/opt/bigdata/hadoop260/data/journaldata</value>
 </property>

 <!-- 开启 NameNode 失败自动切换 -->
 <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
 </property>


 <!-- 配置失败自动切换实现方式 -->
 <!-- 此处配置较长，在安装的时候切记检查不要换行-->
 <property>
     <name>dfs.client.failover.proxy.provider.mycluster</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <property>
     <name>dfs.permissions.enable</name>
     <value>false</value>
 </property>

 <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
 <property>
     <name>dfs.ha.fencing.methods</name>
     <value>
         shell(/bin/true)
     </value>
 </property>

 <!-- 使用 sshfenns离机制时需要 ssh 免登陆 注意这里要修改成你自己的地址 -->
 <property>
     <name>dfs.ha.fencing.ssh.private-key-files</name>
     <value>/root/.ssh/id_rsa</value>
 </property>
 
 <!-- 配置 sshfence 隔离机制超时时间(30s) -->
 <property>
     <name>dfs.ha.fencing.ssh.connect-timeout</name>
     <value>30000</value>
 </property>
</configuration>

yarn-site.xml

[root@c01 hadoop]# vi ./yarn-site.xml

<!-- 开启 RM 高可用 -->
 <property>
     <name>yarn.resourcemanager.ha.enabled</name>
     <value>true</value>
 </property>

 <!-- 指定 RM 的 cluster id，可以自定义-->
 <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>jyarn</value>
 </property>

 <!-- 指定 RM 的名字，可以自定义 -->
 <property>
     <name>yarn.resourcemanager.ha.rm-ids</name>
     <value>rm1,rm2</value>
 </property>
 <!-- 分别指定 RM 的地址 -->
 <property>
     <name>yarn.resourcemanager.hostname.rm1</name>
     <value>c03</value>
 </property>
 <property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>c04</value>
 </property>

 <!-- 启用自动恢复 -->
 <property>
     <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
 </property>

 <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
 <property>
     <name>yarn.resourcemanager.store.class</name>
     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
 </property>

 <!-- 指定 zk 集群地址 -->
 <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>c01:2181,c02:2181,c03:2181,c04:2181</value>
 </property>

 <!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

hadoop 环境变量配置

[root@c01 hadoop]# vi /etc/profile.d/env.sh 

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

[root@c01 hadoop]# source /etc/profile.d/env.sh

格式化hdfs

[root@c01 hadoop]# hadoop namenode -format

然后使用以下命令去执行脚本，拷贝到每台机器上

[root@c01 hadoop260]# xrsync ./etc/hadoop/

脚本文件

此脚本文件点击此处去获取，或者点击这里去查看脚本的内容
在这里插入图片描述

启动及运行等服务命令

通过脚本文件启动各个机器上的zookeeper

[root@c01 hadoop260]# zkop.sh start

四台机器需全部启动journalnode：

[root@c01 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode
[root@c02 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode
[root@c03 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode
[root@c04 hadoop260]# ./sbin/hadoop-daemon.sh start journalnode

格式化c01的namenode

[root@c01 hadoop260]# ./bin/hdfs namenode -format

启动c01的namenode

[root@c01 hadoop260]# ./sbin/hadoop-daemon.sh start namenode

将c02的namenode进行数据同步

[root@c02 hadoop260]# ./bin/hdfs namenode -bootstrapStandby

然后将c01进行格式化zkfc

[root@c01 hadoop260]# ./bin/hdfs zkfc -formatZK

关闭dfs

[root@c01 hadoop260]# ./sbin/stop-dfs.sh

然后启动dfs

[root@c01 hadoop260]# ./sbin/start-dfs.sh

再将c03和c04的resourcemanager启动

[root@c03 hadoop260]# ./sbin/start-yarn.sh
[root@c04 hadoop260]# ./sbin/start-yarn.sh

通过showjps.sh 脚本查看全部机器的jps：

[root@c01 hadoop260]# showjps.sh jps

在这里插入图片描述

去网页查看效果

查看namenode

在这里插入图片描述
在这里插入图片描述
因为c02是standby状态，
在这里插入图片描述

查看resourcemanager

在这里插入图片描述
在这里插入图片描述
可以看到resourcemanager也是一台active，一台standby。(阁下可以通过kill 掉其中一个namenode 或者 resourcemanager进程来查看他们的namenode以及resourcemanager的状态改变！)
ps：至此，HA高可用集群搭建完毕！

ps：望多多支持，后续更新中。。。

这条gai最靓的华哥
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8479
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
大数据技术之HA视频教程
04-21
本教程由尚硅谷和张长志联合出品HA(High Available)意为高可用，在本课程中主要是Hadoop的高可用，在实际开发环境中是必不可少的技术之一。你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。 购买后资料问题请加老师QQ  2020363447
Kubeadm方式部署K8s高可用集群
weixin_72583321的博客
05-17 951
一个6节点的Kubernetes（K8s）高可用集群是一套由6台服务器组成的系统，旨在通过冗余和故障转移机制确保集群的稳定性和可靠性。它通常包括多个主节点（Master Nodes），这些节点运行着Kubernetes控制平面组件，如API服务器、调度器和控制器管理器，以及多个工作节点（Worker Nodes），它们负责运行容器化的应用。在高可用配置中，主节点会部署多个实例，并通过选举机制确保始终有一个主节点处于活跃状态，其他主节点则作为备份。工作节点则负责执行容器任务，并通过负载均衡和故障转移策略来保证
Hadoop2.7.6搭建HA高可用集群（图文详解）
qq_51528941的博客
03-23 565
Hadoop 2.7.6 HA高可用集群搭建
HA高可用集群的搭建
weixin_66580854的博客
06-14 630
高可用性(high availability)通常用来描述一个系统经过专门的设计,从而减少停工的时间,而保持其服务的高度可用性提示：以下是本篇文章正文内容，下面案例可供参考基于已经安装好jdk与搭建好的hadoop集群和zookeeper再进行HA的搭建本人学习的一些心得，也有一些踩过的坑，刚入门的小萌新！！！
5台机器搭建HA步骤与注意事项
IT晓白
01-15 2509
HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。
k8s HA高可用集群搭建部署
06-29
课程内容分为两部分（主要内容为k8s搭建，解决了无法下载镜像问题）一部分为k8s高可用集群搭建部署以及第三方dashboard的管理页面，可以实现在页面上进行管操作，第二部分为k8s在线升级以及k8s采用第三方插件helm...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
linux下搭建ha高可用集群
05-14
Linux 下搭建 HA 高可用集群 HA 高可用集群（High Availability Cluster）是一种特殊类型的集群系统，它的主要目的是为了使集群的整体服务尽可能可用，从而减少由计算机硬件和软件易错性所带来的损失。在 Linux 下...
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
Hadoop HA 集群搭建
sinat_35400668的博客
03-18 274
Hadoop HA 集群搭建1. zookeeper集群搭建2. hadoop配置3. HA Hadoop启动4. 测试NameNode active5. zookeeper信息查看6. 停止集群 模拟环境：四台虚拟机node1、node2、node3、node4 node1 node2 node3 node4 NameNode-1 NameNode-2 DataNode-1 DataNode-2 DataNode-3 Zookeeper-1 Zookeeper-2 Zook
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 2711
hadoop最新版本的HA高可用集群搭建流程
hadoopHA集群搭建
qq_35383845的博客
05-06 205
hadoopHA角色分配 hadoop01 hadoop02 hadoop03 Zookeeper Zookeeper Zookeeper NameNode（Active） NameNode（ Standby） ZKFC ZKFC JournalNode JournalNode JournalNode DataNode DataNode DataNode ResourceManager ResourceManager NodeManger NodeManger
Hadoop高可用(HA)集群搭建
five小点心的博客
02-15 2597
查看namenode节点状态：hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器，ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态：standby。kill掉active进程。rm2状态：active。可以直接运行脚本文件。
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2787
HDFS HA 高可用搭建详细图文教程
HA(高可用)完全分布式搭建步骤：
mlin的博客
10-11 974
  集群规划      NN-1 NN-2 DN ZK ZKFC JNN node01 *       * ...
大数据HA安装教程
Godin_的博客
06-17 475
** 大数据之HA&MapReduce安装教程 **本文特点：是一篇比较详细的安装教程 前情提要：首先将四台能互相ping通的虚拟机开机，并在xshell 5连接起来。其中第一台已经做好伪分布式安装。 要安装两台namenode，一台在Active状态，一台在StandBy状态。三台Datanodel存储数据；journalnodel安装在前三台机子上，遵循“过半原则”；Namenodel放在哪两台机子上，ZKFC就放在哪；ZK的功能是切换Namenodel状态。 正式步骤 1：分发jdk到nod
高可用 hadoop HA 搭建教程
weixin_51214928的博客
10-29 1818
高可用 hadoop HA 搭建教程基础环境配置基础环境配置文件配置core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml解释说明相关命令： 基础环境配置 基础环境配置 点击跳转 文件配置 ========================================================= core-site.xml <!-- 指定zookeeper的存放地址--> <property> <name&g
高可用集群搭建hive
最新发布
06-30
Hive作为基于Hadoop的数据仓库工具，可以通过搭建高可用集群来提高其服务的可靠性。以下是搭建高可用Hive集群的基本步骤和关键组件： 1. **Hadoop HA（High Availability）基础**: - HDFS Federation: 将HDFS划分...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值