HA：高可用集群搭建

最新推荐文章于 2024-04-29 21:44:11 发布
最新推荐文章于 2024-04-29 21:44:11 发布
阅读量298 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48293076/article/details/115375302
版权

HA高可用集群搭建

需要知道的是部署集群节点至少需要三台虚拟机，这里我命名为node01,node02,node03，另外需要自己准备好各种安装包，一下是需要准备的安装包和本人使用的版本信息：
ISO映像文件 ：CentOS-7-x86_64-Minimal-1804.iso
jdk：jdk-8u231-linux-x64.tar.gz
Hadoop：hadoop-3.1.4.tar.gz
zookeeper：apache-zookeeper-3.6.2-bin.tar.gz

部署集群节点

我们接下来需要部署的规划是分别让三台虚拟机拥有以下节点规划

服务器node01node02node03
Name NodeYYN
Data NodeYYY
Resource ManagerYNN
Node ManagerYYY
Journal NodeYYY
ZookeeperYYY
ZKFCYYN

创建虚拟机

先建立一台node01
创建

（本人使用的是VMware）
在这里插入图片描述
自己选择存放位置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上面的虚拟机设置，之后可以在编辑内更改
在这里插入图片描述
点击编辑虚拟机设置，导入下载好的镜像文件
在这里插入图片描述

安装CentOS

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
等待，上述安装过程时间会有点久
注意：安装后点击重启

对node01进行操作
创建后续需要的文件夹

在这里插入图片描述
data：用于存储数据
servers：用于存放解压后的各种软件
software：用于存放刚下载或导入的安装包

查看虚拟机网络配置范围

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这里启示ip地址为192.168.220.128，所以我给我的node01ip打算为192.168.220.129，node02为192.168.220.130，node03是190.168.220.131

编辑/etc/hosts文件

在这里插入图片描述

配置静态网络node01参数

在这里插入图片描述
vi 打开文件
i 进入编辑模式
在这里插入图片描述
这里IPADDR后填入你想给01的ip
DATEWAY和DNS1后面写入上面查询到的子网ip
NETMASK后是我们的子网掩码
配置好信息后
按Esc键后输入‘:wq’退出编辑
在这里插入图片描述

克隆

因为02、03现在所需要的配置修改和01一样（除了ip地址),所以我们可以直接复制，复制后修改ip更加方便快捷
（当然，你也可以后续在克隆，因为后续还要在装安装包，那样更加方便，我记录的是我在这里开始的克隆）

先关闭node01，右击node01->管理->克隆
注意：一定要先关闭node01
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
同样的方法克隆node03
在这里插入图片描述

永久更改虚拟机的名字

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

更改node02、node03 IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
更改IPADDR后保存退出后，重启网关
在这里插入图片描述
在这里插入图片描述
至此，三台虚拟机准备完成

免密登录

分别对三台虚拟机做免密登录，注意包括自己
为了便于操作，接下来的步骤都是在secure CRT上操作的
免密操作的步骤，以node01为例：
在这里插入图片描述
完成了对自己的，接下来node01对02、03的
在这里插入图片描述
Node01验证
在这里插入图片描述
同样的在node02，node03上也是这样的命令和操作

安装工具包

下载lrzsz包

先下载lrzsz包，方便后续从windows导入安装包
在这里插入图片描述

安装jdk

导入jdk包
在这里插入图片描述
改名
在这里插入图片描述
配置jdk环境变量
在这里插入图片描述在这里插入图片描述

安装hadoop

在这里插入图片描述
改名
在这里插入图片描述
配置Hadoop的环境变量
在这里插入图片描述
在这里插入图片描述

安装zookeeper

在这里插入图片描述
改名
在这里插入图片描述
配置zookeeper环境变量
在这里插入图片描述
在这里插入图片描述
配置zoo.cfg
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建myid文件
创建这个文件是为了后续启动zkServer进程时，数值大的作为leader
在这里插入图片描述
在这里插入图片描述

分发文件
分发zookeeper相关文件夹到其他服务器

分发给node02
在这里插入图片描述
在这里插入图片描述
同样的将02改为03分发给03
修改各自的myid文件
在这里插入图片描述
在这里插入图片描述

分发jdk

在这里插入图片描述在这里插入图片描述

分发hadoop

在这里插入图片描述
在这里插入图片描述

分发配置文件

在这里插入图片描述

验证

在这里插入图片描述
在这里插入图片描述
关闭所有防火墙
在这里插入图片描述
同样的，node02，node03也要关闭
开启zookeeper服务，并查看状态
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

配置Hadoop高可用集群

为了便于修改配置文件，我们用notepad++连接三台虚拟机，在内部进行修改
在这里插入图片描述
在这里插入图片描述

修改配置文件

/export/servers/Hadoop/etc/Hadoop
在这里插入图片描述

修改core-site.xml文件
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop/tmp</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node01:2181,node02:2181,node03:2181</value>
    </property>
</configuration>

这里我们需要新建tmp文件
在这里插入图片描述

修改hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/export/data/hadoop/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/export/data/hadoop/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>node01:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>node01:50070</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>node02:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>node02:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node01:8485;node02:8485;node03:8485/ns1</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/export/data/hadoop/journaldata</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

这里需要新建文件
在这里插入图片描述

修改marped-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
修改yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node02</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node01:2181,node02:2181,node03:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>
修改workers
node01
node02
node03
修改hadoop-env.sh
<!--在末尾处加上-->
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root
分发配置文件给node02 node03

在这里插入图片描述
在这里插入图片描述

启动HA集群

要确保zookeeper服务已经启动，启动zookeeper服务要关闭防火墙

启动集群各个节点监控namenode的管理日志journalNode

三台均输入命令
在这里插入图片描述

格式化，并分发文件到node02

注意不要分发给node03

格式化namenode

在这里插入图片描述
在这里插入图片描述
格式化成功
分发data文件
在这里插入图片描述

格式化ZKFC

在这里插入图片描述
在这里插入图片描述

启动hadfs和yarn，查看节点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HA高可用集群搭建完成，谢谢耐心看完

muyi沐一
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
k8s HA高可用集群搭建部署
06-29
课程内容分为两部分（主要内容为k8s搭建，解决了无法下载镜像问题）一部分为k8s高可用集群搭建部署以及第三方dashboard的管理页面，可以实现在页面上进行管操作，第二部分为k8s在线升级以及k8s采用第三方插件helm...
linux下搭建ha高可用集群
05-14
Linux 下搭建 HA 高可用集群 HA 高可用集群（High Availability Cluster）是一种特殊类型的集群系统，它的主要目的是为了使集群的整体服务尽可能可用，从而减少由计算机硬件和软件易错性所带来的损失。在 Linux 下...
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8725
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
ha环境搭建
weixin_51737266的博客
11-06 1133
ha搭建无本人许可禁止转载
22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群
最新发布
花&败
04-29 1439
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2819
HDFS HA 高可用搭建详细图文教程
Hadoop HA 高可用集群搭建
weixin_52356946的博客
01-10 1059
Hadoop HA高可用集群搭建
（11.1.4）Hadoop基础教程之分布式环境搭建
JAVA成长之路
05-27 891
前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。 在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台作为从机(slaver)。同时，这台主机，我们就用第一章中搭建好的环境来。 我们采用与第一章中相似的步骤来操作: 1、运行环境搭建
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
Hadoop-HA(高可用 )集群搭建文档
04-09
基于Hadoop-HA(高可用 )集群搭建目录： 一．Hadoop集群IP以及角色分配表 2 二．安装软件 2 三. 基础环境部署 2 四．安装Hadoop 6 五．安装Zookeeper集群 7 六．配置高可用集群 8 七．启动相应的服务进程 12 八．测试...
HA-X86系统搭建步骤 SUSE linux
01-25
HA介绍 HA 是高可用集群技术。是通过特殊软件把独立的系统连接起来，组成一个能够提供故障切换功能的集群。HA集群可以保证在多故障中，关键服务的可用性，可靠性及数据完整性。HA集群主要用于文件服务，web服务，数据库服务等关键应用当中。
HA高可用集群文档搭建
qq_52297180的博客
01-01 361
HADOOP的HA高可用集群的搭建流程以及初始化启动流程
HA搭建
zhoutao719的博客
09-15 198
文章目录HA搭建前提配置文件配置core-site.xml配置hdfs-site.xml配置yarn-site.xml分发配置文件启动集群 HA搭建 前提 集群搭建完成、zookeeper搭建完成 配置文件 cd /opt/hadoop/etc/hadoop 配置core-site.xml vi core-site.xml <!-- 指定hdfs的nameservice为ns --> <property> <name>fs.defaultFS</name
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 1824
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
HA 集群搭建
keys_7的博客
01-06 274
HA 集群搭建集群分配方案配置hdfs-site.xml 集群分配方案 NN-1 NN-2 DN ZK ZKFC JNN node1 ✔️ ✔️ ✔️ node2 ✔️ ✔️ ✔️ ✔️ ✔️ node3 ✔️ ✔️ ✔️ node4 ✔️ ✔️ HA 状态下： 当处于 active 状态的节点挂掉之后，standby 状态的节点自动接替任务，转为 active 状态，对外提供服务。 当挂掉的节点重新恢复之后，他不会再恢复成 active 状态，保持
HA 高可用集群搭建(详细教程)
hua_ge_zui_liang的博客
06-08 1446
hadoop的高可用HA集群搭建（详细）准备工作及zookeeper集群搭建进行hadoop配置基本文件hadoop 环境变量配置格式化hdfs脚本文件启动及运行等服务命令四台机器需全部启动journalnode：格式化c01的namenode启动c01的namenode将c02的namenode进行数据同步然后将c01进行格式化zkfc关闭dfs然后启动dfs再将c03和c04的resourcemanager启动去网页查看效果查看namenode查看resourcemanager 本文以两台namenod
hadoop完全分布式搭建HA（高可用）
热门推荐
weixin_41407399的博客
03-25 1万+
首先创建5台虚拟机（最少三台），并且做好部署规划ip地址 主机名 安装软件 进程 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 master2 jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192...
HDFS HA 高可用搭建
忄凝^的博客
06-30 350
HDFS HA 搭建 目录HDFS HA 搭建一、搭建高可用集群1、准备安装环境2、修改集群环境3、修改配置文件4、拷贝分发软件5、修改环境变量6、首先启动Zookeeper7、启动JournalNode8、格式化NameNode9、关闭集群10、重启测试集群二、访问Hadoop集群1、Java访问2、Idea访问附录：配置文件详解1、core-site.xml2、hdfs-site.xml 一、搭建高可用集群 NameNode-1 NameNode-2 DataNode Zookeeper ZK
华为FusionCompute私有云搭建：高可用与HA实践
"华为FusionCompute私有云搭建手册，详述了如何构建基于FusionCompute和OceanStor5300v3存储的企业级虚拟化环境，涵盖了CNA安装、VRM主备部署、IP-SAN配置、HA高可用、虚拟机业务操作等多个方面。" 本文档主要介绍...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值