七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

已于 2023-01-23 13:44:39 修改
阅读量2.3k 收藏 34
点赞数 3
分类专栏： Hadoop系统应用 文章标签： hadoop centos 大数据 hdfs mapreduce
于 2022-12-16 16:38:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42051846/article/details/128344345
版权

Hadoop集群搭建前安装准备参考：
一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hadoop集群搭建过程参考：
二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

文章目录

一、Hadoop高可用集群简介

在高可用HDFS中，通常有两台或两台以上机器充当NameNode，无论何时，都要保证至少有一台处于活动（Active）状态，一台处于备用（Standby）状态。Zookeeper为HDFS集群提供自动故障转移的服务，给每个NameNode都分配一个故障恢复控制器（简称ZKFC），用于监控NameNode状态。若NameNode发生故障，Zookeeper通知备用NameNode启动，使其成为活动状态处理客户端请求，从而实现高可用。

前面搭建的Hadoop集群部署情况如下所示。
在这里插入图片描述

HDFS的高可用集群是由三台虚拟机部署，具体部署情况如下所示。
在这里插入图片描述

二、Hadoop高可用集群的搭建

1、重新布置三个服务器

在服务器的Hadoop集群的搭建过程中，可参考前面提供的操作实验文档：
一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
注意，为了方便跟前面搭建的集群进行区分，需要做以下调整：

  1. 三个节点的名称分别设为node-01、node-02和node-03；
  2. 网络配置时将三个服务器的hostname修改为node-01、node-02和node-03；
  3. 设置IP映射时，可将node-01设为192.168.121.137，node-02设为192.168.121.138，node-03设为192.168.121.139。

2、安装Zookeeper

具体操作，可参考前面提供的操作实验文档：
六、Hadoop系统应用之Zookeeper分布式协调服务（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
注意事项：

  1. 将三个服务器的hostname修改为node-01、node-02和node-03；
  2. 在配置文件zoo.cfg时，将对应内容设置为：
server.1=node-01:2888:3888 
server.2=node-02:2888:3888
server.3=node-03:2888:3888
  1. 安装完成后，依次在三个节点上使用如下指令关闭防火墙与防火墙开机启动。
service iptables stop 
chkconfig iptables off

3、修改core-site.xml文件

使用如下指令进入相关路径并修改此文件：

cd /export/servers/hadoop-2.7.4/etc/hadoop
vi core-site.xml

将文件内容修改为如下部分：

<configuration>
	<!--指定hdfs的nameservice为node1-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!--指定hadoop临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.4/tmp</value>
	</property>
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
</configuration>

4、修改hdfs-site.xml文件

指令如下：

vi hdfs-site.xml

将文件内容修改为如下部分：

<configuration>
        <!--设置副本个数-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <!--设置namenode.name目录-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/export/data/hadoop/name</value>
        </property>
        <!--设置datanode.data目录-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/export/data/hadoop/data</value>
        </property>
        <!--开启webHDFS-->
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
                <!--在namenode和datanode上开启webHDFS（REST API）功能，不是必须-->
        </property>
        <!--指定hdfs的nameservice为ns1-->
        <property>
                <name>dfs.nameservices</name>
                <value>ns1</value>
        </property>
        <!--ns1下有两个NameNode，分别是nn1，nn2-->
        <property>
                <name>dfs.ha.namenodes.ns1</name>
                <value>nn1,nn2</value>
        </property>
        <!--nn1的RPC通信地址-->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn1</name>
                <value>node-01:9000</value>
        </property>
        <!--nn1的http通信地址-->
        <property>
                <name>dfs.namenode.http-address.ns1.nn1</name>
                <value>node-01:50070</value>
        </property>
        <!--nn2的RPC通信地址-->
        <property>
                <name>dfs.namenode.rpc-address.ns1.nn2</name>
                <value>node-02:9000</value>
        </property>
        <!--nn2的http通信地址-->
        <property>
                <name>dfs.namenode.http-address.ns1.nn2</name>
                <value>node-02:50070</value>
        </property>
        <!--指定NameNode的元数据在JournalNode上的存放位置-->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://node-01:8485;node-02:8485;node-03:8485/ns1</value>
        </property>
        <!--指定JournalNode在本地磁盘存放数据的位置-->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/export/data/hadoop/journaldata</value>
        </property>
        <!--开启NameNode失败自动切换-->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!--配置失败自动切换实现方式-->
        <property>
                <name>dfs.client.failover.proxy.provider.ns1</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!--配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>
        <!--使用sshfence隔离机制时需要ssh免登录-->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!--配置sshfence隔离机制超时时间-->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
</configuration>

5、修改yarn-site.xml文件

指令如下：

vi yarn-site.xml

将文件内容修改为如下部分：

<configuration>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>
        <!--开启RM高可用-->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <!--指定RM的cluster id-->
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>yrc</value>
        </property>
        <!--指定RM的名字-->
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <!--分别指定RM的地址-->
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>node-01</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>node-02</value>
        </property>
        <!--指定zk集群地址-->
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>node-01:2181,node-02:2181,node-03:2181</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6、修改slaves文件

node-01
node-02
node-03

7、配置文件分发

将配置好的文件分发给node-02和node-03。

scp -r /export/ node-02:/
scp -r /export/ node-03:/

8、启动Hadoop高可用集群

（1）启动集群中各个节点的Zookeeper服务，命令如下：

cd /export/servers/zookeeper-3.4.10/bin
./zkServer.sh start

在这里插入图片描述

（2）启动集群各个节点监控NameNode的管理日志的JournalNode，命令如下：

hadoop-daemon.sh start journalnode

在这里插入图片描述

（3）在node-01节点格式化Namenode，并将格式化后的目录复制到name-02中，命令如下（仅首次启动）：

hadoop namenode -format
scp -r /export/data/hadoop node-02:/export/data/

在这里插入图片描述

（4）在node-01节点上格式化ZKFC，命令如下（仅首次启动）：

hdfs zkfc -formatZK

在这里插入图片描述

（5）在node-01上分别启动HDFS和YARN，命令如下：

start-dfs.sh
start-yarn.sh

在这里插入图片描述

（6）使用命令jps查看各个服务的启动情况。
node-01：
在这里插入图片描述
node-02：
在这里插入图片描述

node-03：
在这里插入图片描述

参考文献：黑马程序员.Hadoop大数据技术原理与应用[M].北京：清华大学出版社,2019.

后续Hive数据仓库应用的学习链接：
一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

七层楼的疯子
关注
  • 3
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1297
Hadoop 搭建高可用集群--zookeeper
基于centos的大数据hadoop集群搭建说明文档
10-30
【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式计算框架，它允许在普通硬件上处理大量数据。基于...
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181606的博客
04-11 485
slave2。
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8740
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
2024年最新Hadoop分布式高可用HA集群搭建笔记（含Hive之构建）(1)，java面试核心知识
最新发布
2301_82241647的博客
05-08 424
jps是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。我们使用一下我们发现每个节点上都出先了JPS进程和QuorumPeerMain。JPS是这条命令本身拉起的进程，QuorumPeerMain则是zookeeper拉起的，那么QuorumPeerMain是什么呢？根据官方文档来看，是个入口类。用来加载myid二、Hadoop三节点搭建2.1 环境准备还是需要JDK，这个在1.2.6中已经完成。
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1606
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
hadoop3 高可用集群
qq_34304427的博客
09-17 1056
配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop。在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小。
Hadoop集群搭建详细简明教程
05-13
本教程旨在指导用户搭建Hadoop集群，从虚拟机安装到Hadoop安装的整个过程，涵盖了虚拟机管理、Linux操作系统基础知识、大数据和分布式系统等多个方面的知识点，旨在帮助用户快速掌握Hadoop集群的搭建和配置。
通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现.pdf
09-06
4. VMWare Workstation和CentOS 6.5在Hadoop集群搭建中的应用：VMWare Workstation提供了虚拟化环境，而CentOS 6.5提供了Linux操作系统的环境，两者结合可以实现Hadoop集群的搭建。 5. Hadoop集群的测试和应用开发...
Hadoop搭建-Linux系统.docx
11-27
首先，确保你的系统是Windows 10 64位，并安装了VMware Workstation Pro虚拟机软件。选择CentOS作为你的虚拟机操作系统，因为它是广泛用于Hadoop部署的Linux发行版之一，以其稳定性和易用性而受到青睐。 在虚拟机...
分布式集群高可用搭建整理
05-30
hadoop安装的整理：hadoop高可用性集群配置，整合了包含hadoop，hbase等集群的安装的配置文件的设置
hadoop集群搭建文档资料
11-15
10. **高可用性设置**：对于生产环境，通常会配置Hadoop的高可用性，包括设置备用NameNode以提供故障切换，以及YARN的ResourceManager高可用。 11. **性能优化**：根据实际工作负载，可以调整Hadoop的配置参数，如...
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2820
HDFS HA 高可用搭建详细图文教程
实操Hadoop大数据高可用集群搭建（hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12）
叽叽叽叽叽叽叽叽叽叽叽叽叽叽叽叽
09-12 1683
纯实操，无理论，本文是给公司搭建测试环境时记录的，已经按照这一套搭了四五遍大数据集群了，目前使用还未发现问题。PS：Centos7.9、Rocky9.1可用。
22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群
花&败
04-29 1443
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop集群搭建（超级超级详细）
热门推荐
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
快速搭建Linux-Hadoop集群教程：CentOS与VMware部署详解
本教程是一份关于在Linux操作系统环境下使用VMware搭建Hadoop集群的详尽指南。首先，作者推荐使用CentOS 6.2作为基础环境，因为其稳定性高且适合Hadoop的部署。针对一台Thinkpad T410，配备i7处理器和8GB内存的主机...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

七层楼的疯子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值