5节点Hadoop HA集群搭建

最新推荐文章于 2024-05-02 17:15:52 发布
最新推荐文章于 2024-05-02 17:15:52 发布
阅读量9.6k 收藏 14
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据 分布式 centos 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42646459/article/details/108296918
版权

5节点hadoop-2.7.3 HA集群搭建

一、集群规划

共5个节点，主机名分别是node-01、node-02、node-03、node-04、node-05

初始启动集群，node-01上运行active namenode即主namenode；node-02上运行standby namenode即从namenode

每个节点运行的进程如下表

机器名运行进程
node-01NameNode/zkfc/Zookeeper/Journalnode/DataNode/NodeManager
node-02NameNode/zkfc/Zookeeper/Journalnode/DataNode/NodeManager
node-03Zookeeper/Journalnode/DataNode/NodeManager
node-04ResourceManager
node-05ResourceManager

二、五节点Hadoop HA搭建

准备5台虚拟机，在做五节点hadoop-2.7.3 HA安装之前，要求完成每台虚拟机的环境准备。

1. 虚拟机环境准备

windows|mac安装VMWare虚拟化软件

VMWare下安装CenoOS7

虚拟机关闭防火墙

禁用selinux

配置虚拟网卡

配置虚拟机网络

安装JDK

配置时间同步

修改主机名

修改ip地址

修改/etc/hosts

各节点免密钥登陆

重启虚拟机

2. 安装zookeeper集群

在node-01、node-02、node-03上安装zookeeper集群

3. 五节点Hadoop HA搭建

注意：

此文档使用普通用户操作，如linann；

hadoop安装到用户主目录下，如/home/linann

请根据自己的实际情况修改

3.1 解压hadoop压缩包

在node-01上解压hadoop压缩包到用户主目录(**~**表示用户主目录/home/linann)

#压缩包在/home/linann/tgz中
[linann@node-01 ~]$ cd /home/linann/tgz
[linann@node-01 tgz]$ tar -xzvf hadoop-2.7.3.tar.gz -C ~

3.2 修改hadoop-env.sh

hadoop2.x的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd $HADOOP_HOME/etc/hadoop

修改hadoop-env.sh；保存退出

export JAVA_HOME=/usr/java/jdk1.8.0_211-amd64

注意：JAVA_HOME值修改为自己jdk的实际目录

3.3 修改core-site.xml

注意：

情况一：值/home/linann/hadoop-2.7.3/tmp根据实际情况修改

情况二：值node-01:2181,node-02:2181,node-03:2181根据实际情况修改，修改成安装了zookeeper的虚拟机的主机名

<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!-- 指定hadoop临时目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/linann/hadoop-2.7.3/tmp</value>
	</property>
	<!-- 指定zookeeper地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
</configuration>

3.4 修改hdfs-site.xml

注意：

情况一：属性值qjournal://node-01:8485;node-02:8485;node-03:8485/ns1中的主机名，修改成实际安装zookeeper的虚拟机的主机名

情况二：属性值/home/linann/hadoop-2.7.3/journal中”/home/linann/hadoop-2.7.3”替换成实际hadoop文件夹的路径

情况三：属性值/home/linann/.ssh/id_rsa中/home/linann根据实际情况替换

<configuration>
	<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>node-01:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>node-01:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>node-02:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>node-02:50070</value>
	</property>
	<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://node-01:8485;node-02:8485;node-03:8485/ns1</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/linann/hadoop-2.7.3/journal</value>
	</property>
	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
		sshfence
		shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/linann/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

3.5 修改mapred-site.xml

重命名文件

mv mapred-site.xml.template mapred-site.xml

修改mapred-site.xml

<configuration>
	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

3.6 修改yarn-site.xml

注意：

情况一：属性yarn.resourcemanager.hostname.rm1的值node-04根据实际情况替换

情况二：属性yarn.resourcemanager.hostname.rm2的值node-05根据实际情况替换

情况三：属性值node-01:2181,node-02:2181,node-03:2181根据实际情况替换；替换成实际安装zookeeper的虚拟机的主机名

<configuration>
	<!-- 开启RM高可靠 -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 指定RM的cluster id为yrc，意为yarn cluster -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
	<!-- 指定RM的名字 -->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- 分别指定RM的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>node-04</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>node-05</value>
	</property>
	<!-- 指定zk集群地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

3.7 修改slaves

node-01、node-02、node-03上运行了datanode、nodemanager，所以修改slaves内容替换为：

node-01
node-02
node-03

3.8 远程拷贝hadoop文件夹

说明：~表示用户主目录

scp -r ~/hadoop-2.7.3/ node-02:~
scp -r ~/hadoop-2.7.3/ node-03:~
scp -r ~/hadoop-2.7.3/ node-04:~
scp -r ~/hadoop-2.7.3/ node-05:~

3.9 配置环境变量

node-01到node-05五个节点，都配置环境变量

#将hadoop添加到环境变量中
vim ~/.bash_profile

添加内容如下（注意：若HADOOP_HOME已经存在，则修改）：

export HADOOP_HOME=/home/linann/hadoop-2.7.3/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

编译文件，使新增环境变量生效

source ~/.bash_profile

4. 启动与初始化hadoop集群

**注意：**严格按照下面的步骤 先检查各台hadoop环境变量是否设置好

4.1 启动zookeeper集群

注意：根据zookeeper实际安装情况，启动zookeeper

分别在node-01、node-02、node-03上启动zookeeper

zkServer.sh start

#查看状态：一个为leader，另外两个为follower

zkServer.sh status

4.2 启动journalnode

分别在node-01、node-02、node-03上执行

hadoop-daemon.sh start journalnode

#运行jps命令检验，node-01、node-02、node-03上多了JournalNode进程

4.3 格式化HDFS

#根据集群规划node-01、node-02上运行namenode；所以只在主namenode节点即node-01上执行命令:

hdfs namenode -format

4.4 拷贝hadoop.tmp.dir

格式化后会根据core-site.xml中的hadoop.tmp.dir属性值/home/linann/hadoop-2.7.3/tmp，并生成此文件夹

将/home/linann/hadoop-2.7.3/tmp拷贝到node-02的/home/linann/hadoop-2.7.3中

scp -r /home/linann/hadoop-2.7.3/tmp/ node-02:/home/linann/hadoop-2.7.3/

4.4 格式化ZK

在node-01上执行即可

hdfs zkfc -formatZK

4.5 启动HDFS

只在主namenode节点node-01上执行

start-dfs.sh

4.6 启动YARN

4.6.1 主resourcemanager

注意：只在主resourcemanager即node-04上执行start-yarn.sh

把namenode和resourcemanager部署在不同节点，是因为性能问题，因为他们都要占用大量资源

坑：在node-04上启动yarn之前，先依次从node-04 ssh远程连接到node-01、node-02、node-03、node-04、node-05；因为初次ssh时，需要交互，输入yes，回车

start-yarn.sh
4.6.2 从resourcemanager

在从resourcemanager即node-05上启动rm

yarn-daemon.sh start resourcemanager

5. 验证集群是否可用

5.1 验证HDFS HA

5.1.1 访问WEB UI

node-01、node-02一主一备

http://node-01:50070

http://node-02:50070
5.1.2 模拟主备切换

在主namenode节点，运行

hadoop-daemon.sh stop namenode

访问之前为"备namenode"的WEB UI；发现状态更新为active

启动刚才手动停掉的namenode

hadoop-daemon.sh start namenode

访问它的WEB UI，发现状态更新为standby

5.2 验证Yarn HA

node-04、node-05主备切换

5.2.1 访问WEB UI

node-04浏览器访问

http://node-04:8088/cluster/cluster

node-05浏览器访问

http://node-05:8088/cluster/cluster
5.2.2 模拟主备切换

在主resourcemanager节点，运行

yarn-daemon.sh stop resourcemanager

访问之前为"备resourcemanager"的WEB UI；发现状态更新为active

启动刚才手动停掉的resourcemanager

yarn-daemon.sh start resourcemanager

访问它的WEB UI，发现状态更新为standby

5.2.3 运行MR示例

运行一下hadoop示例中的WordCount程序：

hadoop fs -put /home/linann/hadoop-2.7.3/LICENSE.txt /
hadoop jar hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /LICENSE.txt /w0727

6. 集群常用命令

6.1 关闭Hadoop HA集群

正确指令执行顺序如下

主namenode上运行

stop-dfs.sh

主resoucemanager上运行

stop-yarn.sh

从resoucemanager上运行

yarn-daemon.sh stop resourcemanager

关闭zookeeper集群；每个zk服务器运行

zkServer.sh stop

6.2 常用命令

单独启动namenode

hadoop-daemon.sh start namenode

单独启动datanode

hadoop-daemon.sh start datanode

单独启动journalnode

hadoop-daemon.sh start journalnode

启动zookeeper

./zkServer.sh start

启动hdfs

start-dfs.sh

启动yarn

start-yarn.sh

单独启动resorucemanager

yarn-daemon.sh start resouremanger

n.sh


从resoucemanager上运行

```shell
yarn-daemon.sh stop resourcemanager

关闭zookeeper集群；每个zk服务器运行

zkServer.sh stop

6.2 常用命令

单独启动namenode

hadoop-daemon.sh start namenode

单独启动datanode

hadoop-daemon.sh start datanode

单独启动journalnode

hadoop-daemon.sh start journalnode

启动zookeeper

./zkServer.sh start

启动hdfs

start-dfs.sh

启动yarn

start-yarn.sh

单独启动resorucemanager

yarn-daemon.sh start resouremanger
大锤哥哥Z
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
5节点Hadoop,Hive,HBase HA 集群搭建
qzqanzc的博客
05-10 390
节点规划 host 节点进程 node1 namenode,datanode,HRegionServer,NodeManager,DFSZKFailoverController node2 secondarynamenode,datanode,zookeeper,NodeManager,JournalNode,ResourceManager node3 namenode,d...
三节点Hadoop集群搭建
博客写的好晚上睡得早
03-21 311
三节点集群搭建与伪分布式类似，为减少部署安装的程序可以直接将原来搭建伪分布式的服务器上的内容拷贝或同步到三个节点上。如果未搭建过伪分布，则可以先部署一台服务器然后拷贝或同步到其他服务器。
Hadoop HA平台搭建
jerryhuang12的博客
08-02 733
一、引言 （一）项目背景 随着大数据时代的来临，分布式文件系统因其极高的可靠性和性能以及可扩展性越来越受到人们的青睐。对于如今各社交网络、电子商务平台和音乐平台等娱乐平台融入人们的日常生活，而其日渐增长的注册用户以及庞大的数据量便需要依靠分布式文件系统来进行处理。作为大数据平台Hadoop平台的存储核心，HDFS逐渐成为了一个用来进行数据处理的标准，但整个集群只有一个Namenode，若这一个Namenode损坏，则整个Hadoop集群将不可以使用，此时Hadoop的高可用性显得尤为重要。在Hadoop
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8754
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
2024年大数据最全hadoop(3) 搭建hadoop-HA_hadoop3 ha(2)
最新发布
2401_84182906的博客
05-02 622
在node01上执行，将node01的公钥发给所有node节点，让node01能直接免密登录到其他node节点。#在node02上执行，将node02的公钥发给所有node节点，让node02能直接免密登录到其他node节点。#将/etc/hostname的文本修改为对应服务器名（master01，node01，node02）#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行。#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间。
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1606
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
基于hadoop2.6.5搭建5个节点的分布式集群—（六）安装Zookeeper
billyuncle的博客
06-16 1039
1.将本地下载好的zookeeper-3.4.10.tar.gz安装包，上传至hadoop001节点下的/home/hadoop/app目录下；2.解压3.删除zookeeper-3.4.10.tar.gz安装包4.重命名5. 修改Zookeeper中的配置文件   复制一个zoo.cfg文件    编辑zoo.cfg文件6、通过脚本deploy.sh将Zookeeper安装目录拷贝到其他节点上面...
hadoopHA搭建
互联网知识分享
07-19 249
关于理论部分，Hadoop HA 主要是通过引入 Standby NameNode，以及使用 Zookeeper 进行选举，解决了 Hadoop 1.x 中 NameNode 的单点故障问题。在 HA 架构中，Active NameNode 和 Standby NameNode 都有完整的文件系统元数据，而 Standby NameNode 会不断的从 Active NameNode 同步状态。：在每台机器上配置 ssh 免密码登录，以便 Hadoop 的各个组件可以在机器之间通信。将公钥复制到其他机器。
Hadoop HA集群配置.docx
08-23
总之，配置Hadoop HA集群是一个复杂的过程，涉及到多个组件的协同工作，尤其是ZooKeeper作为基石，对于整个集群的稳定性和高可用性至关重要。正确配置和管理ZooKeeper集群是实现Hadoop HA的关键步骤之一。
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
手把手教你搭建 5 节点 Hadoop 分布式集群（HA）.pdf
12-04
手把手教你搭建 5 节点 Hadoop 分布式集群（HA） Hadoop 是一种大数据处理技术，能够对大量数据进行存储、处理和分析。为了实现高可用性和高性能，Hadoop 集群需要搭建 HA（高可用性）架构。本资源将手把手教你搭建...
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /...
HadoopHA集群配置文件
11-28
配置Hadoop HA集群需要对这些文件进行精确调整，以实现命名节点的自动故障切换、保证数据的安全性和一致性，以及优化资源分配和任务调度。在实际操作中，还需要关注其他配置，比如Zookeeper的设置（用于协调NN的故障...
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 6596
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
Hadoop HA集群的搭建（5个节点）
huicooling的博客
01-25 6018
  特别说明，做大数据需要特别好的电脑配置，处理器至少i5吧,i5-8300H，显卡尽量GTX的，GTX1050，内存得有8G吧（我的是16G） 软件准备：jdk-1.8.0_191;hadoop-2.8.5；zookeeper-3.4.12,软件下载可以就不说了，直接去官网下载即可 系统准备：Centos7 64位 一、集群规划： 主机名               IP       ...
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2736
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
Hadoop HA 搭建
不搞数学的汤老师
05-03 3169
前言 环境介绍 虚拟机软件：VirtualBox Linux 发行版本：Ubuntu 20.04.4 虚拟机核心数：1 core 虚拟机内存：2 GB JDK 版本：1.8.0_202 Hadoop 版本：3.2.3 ZK 版本：3.8.0 实验机搭建 HA 概述 HA 即高可用，在 Hadoop 中，只有 NN 和 MR 会出现单点故障。所以只需要对 NN 和 MR 做 HA。 DN 和 NM 本身就会起多个，所以不存在单点 2NN 用以整合 Image 和 Edit，做 HA 后，处于 stand
Hadoop高可用(HA)集群搭建
five小点心的博客
02-15 2601
查看namenode节点状态：hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器，ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态：standby。kill掉active进程。rm2状态：active。可以直接运行脚本文件。
5个节点搭建hadoop高可用集群
javaChengXuY的博客
09-27 749
1 节点简介 主机名 ip地址 hdp-nn 192.168.64.10 hdp-nn-standy 192.168.64.7 hdp-01 192.168.64.11 hdp-02 192.168.64.12 hdp-03 192.168.64.13 2 集群规划 主机名 安装软件 节点分配 hdp-nn hadoop namenode,ZKF...
5节点Hadoop HA集群搭建教程：从入门到实战
本篇文章详细介绍了如何手把手搭建一个5节点的Hadoop分布式集群，特别关注于高可用性(HA)的配置。首先，作者介绍了Hadoop 2.6.0版本的选择，这个版本包含了NameNode和ResourceManager的HA功能，以及Zookeeper的集成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值