Hadoop高可用集群搭建（超详细）

最新推荐文章于 2024-08-04 13:23:56 发布
最新推荐文章于 2024-08-04 13:23:56 发布
阅读量7.1k 收藏 138
点赞数 23
分类专栏： 笔记 Hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46376562/article/details/110353143
版权
本文详细介绍了如何在三台服务器上搭建Hadoop高可用集群，包括配置静态IP、SSH免密登录、部署JDK、Zookeeper和Hadoop，以及设置HDFS和YARN的高可用参数。通过格式化、同步和启动服务，实现了主备NameNode和ResourceManager的自动切换。最后，通过模拟故障验证了集群的高可用性。
摘要由CSDN通过智能技术生成

节点布置

IP主机名描述部署软件
192.168.200.201hadoop-01主节点jdk,hadoop,zookeeper
192.168.200.202hadoop-02备用主节点jdk,hadoop,zookeeper
192.168.200.203hadoop-03数据服务节点jdk,hadoop,zookeeper

配置静态IP

# 有的可能为 ifcfg-ens33
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

在这里插入图片描述

# 重启网卡
service network restart

配置ssh免密登录

参考文档

部署JDK

参考文档

部署zookeeper

参考文档

部署hadoop

编辑hadoop-env.sh

在这里插入图片描述

编辑core-site.xml
<configuration>
 	 <!-- 指定hdfs的nameservice为ns1 -->
	 <property>
		 <name>fs.defaultFS</name>
		 <value>hdfs://ns1/</value>
	 </property>
	 <!-- 指定hadoop临时目录 -->
	 <property>
		 <name>hadoop.tmp.dir</name>
		 <value>/root/software/hadoop-2.7.7/tmp</value>
	 </property>

	 <!-- 指定zookeeper地址 -->
	 <property>
		 <name>ha.zookeeper.quorum</name>
		 <value>hadoop-01:2181,hadoop-02:2181,hadoop-03:2181</value>
	 </property>
</configuration>
编辑hdfs-site.xml
<configuration>
	<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>hadoop-01:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>hadoop-01:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>hadoop-02:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>hadoop-02:50070</value>
	</property>
	<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop-01:8485;hadoop-02:8485;hadoop-03:8485/ns1</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/root/software/hadoop-2.7.7/journaldata</value>
	</property>
	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
		sshfence
		shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>
配置yarn-site.xml
<configuration>
	<!-- 开启RM高可用 -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 指定RM的cluster id -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
	<!-- 指定RM的名字 -->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- 分别指定RM的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop-01</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop-02</value>
	</property>
	<!-- 指定zk集群地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop-01:2181,hadoop-02:2181,hadoop-03:2181</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
修改mapred-site.xml(该文件不存在，需要手动创建),cp mapred-site.xml.template mapred-site.xml
<configuration>
        <!-- 采用yarn作为mapreduce的资源调度框架 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
配置slaves
hadoop-01
hadoop-02
hadoop-03
编辑yarn-env.sh

在这里插入图片描述

配置环境变量
export JAVA_HOME=/root/software/jdk1.8.0_251
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/root/software/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export ZOOKEEPER_HOME=/root/software/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin

分发文件

# 在hadoop-01上进行
scp -r /root/software/hadoop-2.7.7 root@hadoop-02:/root/software
scp -r /root/software/hadoop-2.7.7 root@hadoop-03:/root/software

scp -r /etc/profile root@hadoop-02:/etc
scp -r /etc/profile root@hadoop-03:/etc

启动hadoop

启动journalnode，三台机器都要这一步操作（仅第一次启动hadoop时，需要这一步操作，之后不再需要手动启动journalnode）
hadoop-daemon.sh start journalnode
在hadoop-01上执行格式化操作，格式化namenode和zkfc
hdfs namenode -format
hdfs zkfc -formatZK
namenode主从信息同步，在hadoop-02节点上执行同步命令
hdfs namenode -bootstrapStandby
启动
#hadoop-01
start-all.sh
hadoop-daemon.sh start zkfc

#hadoop-02
yarn-daemon.sh start resourcemanager
hadoop-daemon.sh start zkfc
停止
#hadoop-01
stop-all.sh
hadoop-daemon.sh stop zkfc

#hadoop-02
yarn-daemon.sh stop resourcemanager
hadoop-daemon.sh stop zkfc
查看进程
[root@hadoop-01 ~]# jps
3619 ResourceManager
3734 NodeManager
2599 NameNode
3351 JournalNode
3511 DFSZKFailoverController
2696 DataNode
3788 Jps
2909 QuorumPeerMain

[root@hadoop-02 ~]# jps
2705 QuorumPeerMain
2499 NameNode
3207 Jps
3065 NodeManager
2890 JournalNode
2557 DataNode
2975 DFSZKFailoverController

[root@hadoop-03 ~]# jps
2496 DataNode
2753 JournalNode
2599 QuorumPeerMain
2986 Jps
2844 NodeManager

验证

登录主节点查看
在这里插入图片描述

登录备用主节点查看
在这里插入图片描述
kill 掉主节点的 namenode 进程， 检验hadoop-02是否会自动切换到namenode

# jps查看hadoop-01的namenode进程id，然后kill
[root@hadoop-01 ~]# jps
3619 ResourceManager
3734 NodeManager
2599 NameNode
3351 JournalNode
3511 DFSZKFailoverController
4119 Jps
2696 DataNode
2909 QuorumPeerMain
[root@hadoop-01 ~]# kill 2599

再一次登录192.168.200.202:50070进行查看
在这里插入图片描述
到此，hadoop高可用集群搭建完毕

Lynn Gin
关注
专栏目录
Hadoop高可用集群搭建步骤
weixin_51104731的博客
07-27 1843
搭建hadoo高可用集群的详细步骤
Hadoop集群高可用配置
weixin_41765352的博客
11-29 1517
最近在学习hadoop大数据技术，自己动手搭建了HA集群，为记录学习过程，特将搭建过程记录在博客。文中的各配置文件均来源于我的自己的配置，只需修改为自己的主机名和路径就可以使用，给和我一样初涉大数据的小白们提供个参考。
Hadoop高可用集群配置
qq_42005540的博客
03-22 695
目录一、Hadoop高可用集群的配置第一步：配置文件第二步：删除所有机器都tmp和logs文件夹第三步：启动journalnode（所有机器都要启动）第四步：主结点操作初始化第五步：将初始化生成的tmp文件夹同步给副结点（有两种方式）第六步：主节点初始化zookeeper服务第七步：主节点启动hdfs服务：二、什么是高可用集群三、JournalNode的作用四、主节点namenode初始化的作用 一、Hadoop高可用集群的配置 第一步：配置文件 1、 [root@hadoop2 hadoop]# vi
搭建Hadoop高可用集群
m0_52474839的博客
01-02 931
Hadoop数据分析项目“环境搭建”环境要求搭建步骤打开vmvare，将一个主节点虚拟机，克隆两台从节点虚拟机点击Slave**下载hadoop，jdk等**将hadoop改名****更改环境配置****Master节点配置Hadoop信息**修改core-site.xml修改hdfs-site.xml修改文件mapred-site.xml修改文件 yarn-site.xmlMaster主节点执行****Slave从节点执行如下命令**接着修改从节点环境变量可能有同学看了好多教程，好多优秀的没有配置从节点的
Hadoop搭建集群
最新发布
m0_70405779的博客
08-04 2486
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
docker-compose部署hadoop集群（高可用）—— 筑梦之路
筑梦之路
06-05 1519
hadoop高可用依赖组件zookeeper。
hadoop高可用集群配置
凉茶铺的博客
10-28 1669
介绍了如何搭建高可用hadoop HA集群
hadoop高可用集群搭建
浅抒流年的博客
08-20 7816
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
hadoop 高可用集群搭建
BASEDEDATO的博客
06-12 1251
#关闭防火墙 systemctl disable firewalld systemctl stop firewalld #关闭selinux  /etc/selinux/config  将SELINUX=enforcing 改为SELINUX=disabled sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config ...
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4573
一文带你了解Hadoop的HA高可用搭建!
hadoop高可用集群搭建手册.docx
04-17
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程，包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点： 1. 集群规划 在规划Hadoop集群时，需要考虑到集群的拓扑...
基于docker的hadoop高可靠集群搭建
02-22
基于docker构建hadoop分布式集群，可以适用于swarm云，k8s云，mesos云。
Hadoop高可用集群搭建
07-24
Hadoop高可用集群搭建
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
一篇搞定，Hadoop高可用集群搭建及API调用，超详细
mrcool2012的博客
07-21 830
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNameNode会对fsimage和edits文件进行合并，并推送给NameNode，防止因edits文件过大，导致NameNode重启变慢),这是Hadoop1的不可靠实现。
搭建hadoop高可用集群（一）
cp1002327672的博客
02-14 225
搭建hadoop高可用集群（一）
Hadoop搭建高可用集群（保姆级教程）
wanjialin的博客
11-04 4176
准备工作： 1、搭建完成zookeeper，如果没有搭建，请跳转到zookeeper集群搭建保姆级教程 2、集群的jdk都安装完成，如果没有，请跳转到linux编写个脚本快速搭建jdk保姆级教程 3、在/opt/install 下有Hadoop2.6.0的包 4、高可用集群搭建结构表 操作步骤： 1、首先对Hadoop包进行解压缩 [root@nnode2 install]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/ 为了后期使用Hadoo
hadoop HA 高可用集群部署搭建
ZeroTeam_麒麟
05-11 2134
HADOOP HA 介绍 1. 概论 本指南提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情，请参阅Apache 的HDFS 的架构指南。 http://hadoop.apache.org/common/docs/current/hdfs_design.ht
hadoop 集群配置（高可用）
Qinsurpass的博客
06-08 1378
hadoop集群高可用配置三台虚拟机先配置jdk和zookeeper配置hadoop 配置三台虚拟机 192.168.199.161 pass1 192.168.199.162 pass2 192.168.199.163 pass3 先配置jdk和zookeeper 见  jdk、zookeeper环境配置 配置hadoop 解压hadoop安装包 [root@pass1 install]# tar -zxvf ./hadoop-2.6.0-cdh5.14.2.tar.gz -C ../
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值