hadoop+zookeeper搭建高可用集群

最新推荐文章于 2024-05-03 09:23:29 发布
最新推荐文章于 2024-05-03 09:23:29 发布
阅读量817 收藏 10
点赞数 4
文章标签： hadoop zookeeper big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44178366/article/details/120540780
版权

hadoop搭建高可用集群

问题：现有集群存在哪些问题?HDFS集群，单个NN场景下，如果NN故障了，整个HDFS集群就不可用（中心化集群），解决方案是配置多个NN。

但是问题又来了，多个NN的场景下由哪一台对外提供服务呢？

当HDFS实现多NN的高可用后，但是只有一台NN对外提供服务，其他的NN都是替补，当正在提供服务的NN宕机故障（standby），其他的NN自动切换Active状态

当一台NN故障后，其他NN如果争抢上位

采用高可用集群中的自动故障转移机制来完成切换

2NN在高可用的集群中还要不要

不需要，元数据的维护策略还继续保证原样，但是在高可用集群中，会添加一个新的服务（JournalNode）,这个服务本身自己也要搭建成一个集群的状态，他和Zookeeper集群很像，存活机器数量过半，就能正常提供服务。它主要负责编辑日志文件edit的内容共享

手动搭建HA集群

前期准备工作

1. 在/opt/module/下创建文件夹 ha
      mkdir /opt/module/ha	 
2. 将目前的hadoop安装目录拷贝到 /opt/module/ha
      cp -r hadoop-3.1.3/ ha/
3. 删除一些多余的目录文件 保证是一个初始化集群的状态(回到最文件状态)
      rm -rf data/ logs/  input_smallfile/ output output1  wcinput/ wcoutput/
4. 修改HADOOP_HOME的环境变量 vim /etc/profile.d/my_env.sh
	  HADOOP_HOME=/opt/module/ha/hadoop-3.1.3
5. 修改完环境变量记得分发哦
	  my_rsync.sh /etc/profile.d/my_env.sh

在这里插入图片描述

正式搭建HA集群

  1. 修改配置文件 core-site.xml

    <configuration>
		<!-- 把多个NameNode的地址组装成一个集群mycluster -->
		<property>
		  <name>fs.defaultFS</name>
		  <value>hdfs://mycluster</value>
		</property>

		<!-- 指定hadoop数据的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/module/ha/hadoop-3.1.3/data</value>
		</property>

		<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>atguigu</value>
		</property>

		<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
		<property>
			<name>hadoop.proxyuser.atguigu.hosts</name>
			<value>*</value>
		</property>
		<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
		<property>
			<name>hadoop.proxyuser.atguigu.groups</name>
			<value>*</value>
		</property>
		<!-- 配置该atguigu(superUser)允许通过代理的用户-->
		<property>
			<name>hadoop.proxyuser.atguigu.groups</name>
			<value>*</value>
		</property>
</configuration>

    5.修改配置文件 hdfs-site.xml

    <configuration>
		<!-- NameNode数据存储目录 -->
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>file://${hadoop.tmp.dir}/name</value>
		</property>
		<!-- DataNode数据存储目录 -->
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>file://${hadoop.tmp.dir}/data</value>
		</property>
		<!-- JournalNode数据存储目录 -->
		<property>
			<name>dfs.journalnode.edits.dir</name>
			<value>${hadoop.tmp.dir}/jn</value>
		</property>
		<!-- 完全分布式集群名称 -->
		<property>
			<name>dfs.nameservices</name>
			<value>mycluster</value>
		</property>
		<!-- 集群中NameNode节点都有哪些 -->
		<property>
			<name>dfs.ha.namenodes.mycluster</name>
			<value>nn1,nn2,nn3</value>
		</property>
		<!-- NameNode的RPC通信地址 -->
		<property>
			<name>dfs.namenode.rpc-address.mycluster.nn1</name>
			<value>hadoop102:8020</value>
		</property>
		<property>
			<name>dfs.namenode.rpc-address.mycluster.nn2</name>
			<value>hadoop103:8020</value>
		</property>
		<property>
			<name>dfs.namenode.rpc-address.mycluster.nn3</name>
			<value>hadoop104:8020</value>
		</property>
		<!-- NameNode的http通信地址 -->
		<property>
			<name>dfs.namenode.http-address.mycluster.nn1</name>
			<value>hadoop102:9870</value>
		</property>
		<property>
			<name>dfs.namenode.http-address.mycluster.nn2</name>
			<value>hadoop103:9870</value>
		</property>
		<property>
			<name>dfs.namenode.http-address.mycluster.nn3</name>
			<value>hadoop104:9870</value>
		</property>
		<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
		<property>
			<name>dfs.namenode.shared.edits.dir</name>
			<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
		</property>
		<!-- 访问代理类：client用于确定哪个NameNode为Active -->
		<property>
			<name>dfs.client.failover.proxy.provider.mycluster</name>
			<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>
		<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
		<property>
			<name>dfs.ha.fencing.methods</name>
			<value>sshfence</value>
		</property>
		<!-- 使用隔离机制时需要ssh秘钥登录-->
		<property>
			<name>dfs.ha.fencing.ssh.private-key-files</name>
			<value>/home/atguigu/.ssh/id_rsa</value>
		</property>
		  
</configuration>

    6.分发刚才修改的两个配置文件core-site.xml,hdfs-site.xml到103，104机器

    # pwd = /opt/module/ha/hadoop-3.1.3/etc/hadoop
[atguigu@hadoop102 hadoop]$ my_rsync core-site.xml hdfs-site.xml

    7.在102、103、104 各个JournalNode节点上，输入以下命令启动journalnode服务

    hdfs --daemon start journalnode
此时会发现在/data目录下面生成了一个jn文件夹

    8.在 hadoop102的 nn1 上，对其进行格式化，并启动

    hdfs namenode -format # 记得要删除之前生成的 /data, /logs文件夹
hdfs --daemon start namenode

    9.分别在 hadoop103的nn2 和 hadoop104的nn3上，同步nn1的元数据信息

    hdfs namenode -bootstrapStandby
此时会在/data目录下生成/name文件夹，如果没有生成一定要确认命令是否执行成功

    10.分别在 hadoop103上启动nn1 和 hadoop104上启动nn2

    hdfs --daemon start namenode

    11.通过web地址访问nn1 nn2 nn3

    http:hadoop102:9870 
http:hadoop103:9870 
http:hadoop104:9870

    12.在每台机器上启动DN

    hdfs --daemon start datanode

    13.将其中的一个nn切换成Active状态

    hdfs haadmin -transitionToActive nn1

    14.查看是否Active

    hdfs haadmin -getServiceState nn1

至此，手动版的hadoop的高可用集群已经搭建完毕，但是现在想一个问题，目前是nn2是active状态，但是如果nn2宕机了呢？其他的两台机器的nn是否会上位成为active状态呢？经测试，发现不行，并且手动切换nn的状态为active也不行

在这里插入图片描述

考虑到102可能假死状态，所以才不让手动切换

重新启动102的hdfs集群，start-dfs.sh,这个时候102又变成了standby状态，又需要重新手动指定哪台机器为active状态。很麻烦，这个时候并不是自动实现故障转移

完整HDFS HA集群

自动故障转移机制原理

自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程

ZKFC的功能：当集群启动时候每一台NN的zkfc会到zk指定的节点上写入属于自己的内容，哪一台NN成功写入，相当于争抢上位成功，成为Active，zkfc主要用于监测当前nn的健康状态，通过ping的方式，一旦发现当前nn不可用，就会立刻和zk通信，告知zk当前active状态的nn不可用了，zk把属于之前active机器的内容从节点删除，接下来zk通过通知机制告知其他nn的zkfc进程。大家又来抢着写内容

在这里插入图片描述

集群规划

hadoop102 :   Namenode  Datanode JournalNode   ZKFC    ZK
hadoop103 :   Namenode  Datanode JournalNode   ZKFC    ZK
hadoop104 :   Namenode  Datanode JournalNode   ZKFC    ZK

实现HA的故障自动转移

  1. 在core-site.xml文件中增加

    <!-- 指定zkfc要连接的zkServer地址 -->
<property>
	 <name>ha.zookeeper.quorum</name>
	 <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>

  2. 在hdfs-site.xml中增加

    <!-- 启用nn故障自动转移 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

  3. 修改后分发配置文件

    my_rsync /opt/module/ha/hadoop-3.1.3/etc/hadoop

  4. 关闭HDFS集群

    stop-dfs.sh

  5. 启动Zookeeper集群

    zk_cluster.sh start

  6. 初始化HA在Zookeeper中状态

    hdfs zkfc -formatZK

  7. 启动HDFS服务

    start-dfs.sh

测试故障自动转移

在这里插入图片描述

加入YARN HA集群规划

hadoop102 :   Namenode  Datanode JournalNode   ZKFC    ZK   ResourceManager  NodeManager
hadoop103 :   Namenode  Datanode JournalNode   ZKFC    ZK   ResourceManager  NodeManager
hadoop104 :   Namenode  Datanode JournalNode   ZKFC    ZK   ResourceManager  NodeManager

YARN HA 集群搭建步骤

  1. 修改yarn-site.xml

    <!-- 启用resourcemanager ha -->
		<property>
			<name>yarn.resourcemanager.ha.enabled</name>
			<value>true</value>
		</property>
	 
		<!-- 声明三台resourcemanager的地址 -->
		<property>
			<name>yarn.resourcemanager.cluster-id</name>
			<value>cluster-yarn1</value>
		</property>
		<!--指定resourcemanager的逻辑列表-->
		<property>
			<name>yarn.resourcemanager.ha.rm-ids</name>
			<value>rm1,rm2,rm3</value>
		</property>
		
		<!-- ========== rm1的配置 ========== -->
		<!-- 指定rm1的主机名 -->
		<property>
			<name>yarn.resourcemanager.hostname.rm1</name>
			<value>hadoop102</value>
		</property>
		<!-- 指定rm1的web端地址 -->
		<property>
			<name>yarn.resourcemanager.webapp.address.rm1</name>
			<value>hadoop102:8088</value>
		</property>
		<!-- 指定rm1的内部通信地址 -->
		<property>
			<name>yarn.resourcemanager.address.rm1</name>
			<value>hadoop102:8032</value>
		</property>
		<!-- 指定AM向rm1申请资源的地址 -->
		<property>
			<name>yarn.resourcemanager.scheduler.address.rm1</name>  
			<value>hadoop102:8030</value>
		</property>
		<!-- 指定供NM连接的地址 -->  
		<property>
			<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
			<value>hadoop102:8031</value>
		</property>
		
		<!-- ========== rm2的配置 ========== -->
		<!-- 指定rm2的主机名 -->
		<property>
			<name>yarn.resourcemanager.hostname.rm2</name>
			<value>hadoop103</value>
		</property>
		<property>
			<name>yarn.resourcemanager.webapp.address.rm2</name>
			<value>hadoop103:8088</value>
		</property>
		<property>
			<name>yarn.resourcemanager.address.rm2</name>
			<value>hadoop103:8032</value>
		</property>
		<property>
			<name>yarn.resourcemanager.scheduler.address.rm2</name>
			<value>hadoop103:8030</value>
		</property>
		<property>
			<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
			<value>hadoop103:8031</value>
		</property>
		
		<!-- ========== rm3的配置 ========== -->
		<!-- 指定rm3的主机名 -->
		<property>
			<name>yarn.resourcemanager.hostname.rm3</name>
			<value>hadoop104</value>
		</property>
		<property>
			<name>yarn.resourcemanager.webapp.address.rm3</name>
			<value>hadoop104:8088</value>
		</property>
		<property>
			<name>yarn.resourcemanager.address.rm3</name>
			<value>hadoop104:8032</value>
		</property>
		<property>
			<name>yarn.resourcemanager.scheduler.address.rm3</name>
			<value>hadoop104:8030</value>
		</property>
		<property>
			<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
			<value>hadoop104:8031</value>
		</property>
	 
		<!-- 指定zookeeper集群的地址 --> 
		<property>
			<name>yarn.resourcemanager.zk-address</name>
			<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
		</property>

		<!-- 启用自动恢复 --> 
		<property>
			<name>yarn.resourcemanager.recovery.enabled</name>
			<value>true</value>
		</property>
	 
		<!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
		<property>
			<name>yarn.resourcemanager.store.class</name>     
			<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
		</property>

  2. 将yarn-site.xml文件进行分发

    [atguigu@hadoop102 hadoop]$ my_rsync.sh yarn-site.xml

  3. 在任意的机器上启动yarn

    start-yarn.sh # 注意这里的zk已经启动完毕

  4. 通过访问web地址验证

    启动成功，发现每次只能进入一个页面，其他的页面也会自动重定向到Active的机器

  5. 测试Yarn故障自动转移

在这里插入图片描述

ok，至此，hadoop的高可用集群搭建完毕！

倔强的耗子
关注
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1333
Hadoop 搭建高可用集群--zookeeper
hadoop2.8.0+zookeeper-3.4.10搭建HA(高可用集群)
花满楼的博客
06-02 409
1.修改主机名 [root@master /]# vi /etc/hostname #主机名 master.hadoop [root@master ~]# hostname master.hadoop [root@master ~]# hostname master.hadoop 其余结点一样的操作 [root@master ~]# cd /etc/hosts 192.168.1.2 master.hadoop 192.168.1.3 slave1.hadoop 192.168.1.4 slav...
基于ZooKeeper搭建Hadoop高可用集群，附大数据入门指南
架构文摘
06-26 691
大数据依然是当前较为火热的领域，其背后的核心价值是数据。今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https:/...
Hadoop+Zookeeper实现hadoop高可用
cxu123321的博客
10-27 1625
Hadoop+Zookeeper实现hadoop高可用 Breeze_pi 一、zookeeper高可用 实验环境：在上一章的基础上增添高可用节点server5，server5同样使用nfs文件系统共享server1的文件 在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于 Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作; 而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快
hadoop+zookeeper 高可用集群搭建
Amour恋空的博客
06-04 393
    首先，hadoop需要java运行环境，所以请提前配置好JDK以及Hadooop环境变量1. 集群规划  主机名ipNameNodeDataNodeYarnZooKeeperJournalNodeZhiyou01192.168.233.128是是否是是Zhiyou02192.168.233.130是是否是是Zhiyou03192.168.233.131否是是是是2. 准备：（在一台机器上配...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
最新发布
2301_79097795的博客
05-03 589
*看看本地端口9000也确实起来了。
linux centos7 从零搭建Hadoop+zookeeper高可用集群（六台虚拟机）详细
starkpan的博客
01-06 643
创建六台linux centos7(redhat)虚拟机，起名分别为hadoop001，hadoop002，hadoop003，hadoop004，hadoop005，hadoop006 创建用户hadoop，设置为sudo用户。 1、关闭防火墙 2、配置主机名 3、配置hosts 4、配置密码互通 5、安装jdk1.8 6、安装hadoop 以上参看hadoop单节点安装（注意...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
Hadoop集群+Zookeeper+HBase环境搭建
03-29
Hadoop+Zookeeper+HBase环境搭建,详细步骤和实例,从零开始搭建Hadoop集群
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
热门推荐
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
实操Hadoop大数据高可用集群搭建（hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12）
叽叽叽叽叽叽叽叽叽叽叽叽叽叽叽叽
09-12 1790
纯实操，无理论，本文是给公司搭建测试环境时记录的，已经按照这一套搭了四五遍大数据集群了，目前使用还未发现问题。PS：Centos7.9、Rocky9.1可用。
hadoop+zookeeper
liuyong1_的博客
06-19 3128
系统环境:RHEL6.5 selinux and iptables is disabled Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件 软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gz hbase-1.2.4-bin.tar.gz 172.25.40.1:N...
hadoop之zookeeper
代码创造世界
08-02 1174
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。 1 Zookeeper基本框架 Zookeeper集群主要角色有Leader，Learner（Follower，Observ
hadoop+Zookeeper（平台部署、hdfs工作原理、yarn调度器、高可用）
Aimee_c的博客
07-16 1237
文章目录1.设置单节点群集1.1 安装软件及设置1.2 独立运行1.3 伪分布式操作2.Hadoop集群设置2.1 完全分布式2.2 在线添加新节点 参考官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 实验环境： 172.25.0.1 server1： NameNode DFSZKFailoverController ResourceManager 172.25.0.5
hadoop+zookeeper(ha架构搭建）
Helloway的博客
08-16 1万+
hdfs的HA机制：NameNode服务器一台是ACTIVE，另一台是STANDBY。通过Qjournal(日志管理系统) 使用zkfc（基于zookeeper失败切换控制)，管理集群的主节点的失败切换，防止集群单个主节点的宕机问题。 一、在数据节点slave1、slave2、slave3的hadoop的安装目录下新建app目录，在该app目录下新建zookeeper目录，用于放置zookeep
4.7 Hadoop+zookeeper实现HA
尹成的技术博客
11-15 504
集群规划  zk01——zk05，5台centos  zk01——zk05部署了5个zookeeper  zk01为namenode节点  zk05为namenode的HA节点  zk02、zk03、zk04为datanode节点 搭建过程  修改主机名，hosts  搭建5台zookeeper，启动后5台机器都要zkServer.sh status查看状态，如果有启动没成功的节点...
CDH3U0环境下Hadoop+ZooKeeper+HBase分布式集群搭建指南
在集群中，Zookeeper通常作为独立的服务运行，以确保服务的稳定性和高可用性。文档建议使用特定版本的Zookeeper（如3.3.5-cdh3u），以避免与Hadoop和HBase的版本冲突。 在硬件环境方面，选择了8台曙光服务器，每台...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值