HA高可用集群搭建

最新推荐文章于 2024-04-29 21:44:11 发布
最新推荐文章于 2024-04-29 21:44:11 发布
阅读量256 收藏
点赞数 1
分类专栏： 大数据 文章标签： HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_target/article/details/90047906
版权

普通的hadoop集群

  • namenode(nn)
  • secondarynamenode(2nn)
  • datanode(dn)

普通的hadoop集群存在的问题

  • datanode存在单点故障问题吗?
    • 不存在,因为datanode有多个机器,而且有副本机制作为保障
  • namenode存在单点故障问题吗?
    • 存在,因为2nn不能代替nn,2nn的作用只是融合fsimage和edits文件,所以nn存在单点故障问题
  • 如何解决namenode的单点故障问题
    • 多个namenode(实现了namenode的高可用)

hadoop的高可用集群(HA)

1 集群的规划
namenode: mini01   mini02
resourcemanager: mini01  mini02

datanode: mini03  mini04  mini05
journalnode:mini03   mini04  mini05
zookeeper: mini03 mini04  mini05 
nodemanager:mini03   mini04  mini05
2 配置文件

以下是一个全新的集群,如果原来搭建过集群需要删除,/opt/hadoop /opt/hadoop-repo,下面的操作都是在mini01上操作的

export JAVA_HOME=/opt/jdk

export JAVA_HOME=/opt/jdk

export JAVA_HOME=/opt/jdk
  • core-site.xml(核心配置)
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!-- 指定hadoop临时目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop-repo/tmp</value>
	</property>
	<!-- 指定zookeeper地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>mini03:2181,mini04:2181,mini05:2181</value>
	</property>
</configuration>
  • hdfs-site.xml(文件系统的配置)
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
    </property>
	
	<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		 <name>dfs.ha.namenodes.ns1</name>
		 <value>nn1,nn2</value>
	</property>
	
	
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>mini01:8020</value>
	</property>
	
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>mini01:50070</value>
	</property>
	
	
	
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>mini02:8020</value>
	</property>
	
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>mini02:50070</value>
	</property>

	
	<!-- 指定NameNode的edits数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://mini03:8485;mini04:8485;mini05:8485/ns1</value>
	</property>
	
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/hadoop-repo/journal</value>
	</property>

	
	<!-- 指定NameNode在本地磁盘存放数据的位置 -->
	<property>  
		<name>dfs.namenode.name.dir</name>  
		<value>/opt/hadoop-repo/name</value>  
	</property>
	
	<!-- 指定DataNode在本地磁盘存放数据的位置 -->
	<property> 
		<name>dfs.datanode.data.dir</name>  
		<value>/opt/hadoop-repo/data</value>  
	</property>
	
	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
	
	
	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
		   sshfence
		   shell(/bin/true)
		</value>
	</property>
	
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>

	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
	
	<!-- 数据备份数量-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<!-- 剔除权限控制-->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property> 

</configuration>
  • mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property> 
	<!-- 历史job的访问地址-->
	<property>  
		<name>mapreduce.jobhistory.address</name>  
		<value>mini02:10020</value>  
	</property>
	<!-- 历史job的访问web地址-->
	<property>  
		<name>mapreduce.jobhistory.webapp.address</name>  
		<value>mini02:19888</value>  
	</property>
	
	<!-- 会在hdfs的根目录下面创建一个history的文件夹，存放历史任务的相关运行情况-->
	<property>
		<name>yarn.app.mapreduce.am.staging-dir</name>
		<value>/history</value>
	</property>
	
	<!-- map和reduce的日志级别-->
	<property>
		<name>mapreduce.map.log.level</name>
		<value>INFO</value>
	</property>
	<property>
		<name>mapreduce.reduce.log.level</name>
		<value>INFO</value>
	</property>
</configuration>
  • yarn-site.xml
<?xml version="1.0"?>
<configuration>

	<!-- 开启RM高可靠 -->
	<property>
	   <name>yarn.resourcemanager.ha.enabled</name>
	   <value>true</value>
	</property>
	
	<!-- 指定RM的cluster id -->
	<property>
	   <name>yarn.resourcemanager.cluster-id</name>
	   <value>yrc</value>
	</property>
	
	<!-- 指定RM的名字 -->
	<property>
	   <name>yarn.resourcemanager.ha.rm-ids</name>
	   <value>rm1,rm2</value>
	</property>
	
	
	<!-- 分别指定RM的地址 -->
	<property>
	   <name>yarn.resourcemanager.hostname.rm1</name>
	   <value>mini01</value>
	</property>
	<property>
	   <name>yarn.resourcemanager.hostname.rm2</name>
	   <value>mini02</value>
	</property>

	<!-- 指定zk集群地址 -->
	<property>
	   <name>yarn.resourcemanager.zk-address</name>
	   <value>mini03:2181,mini04:2181,mini05:2181</value>
    </property>
	
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
  • slaves (关于dn)
mini03
mini04
mini05
3 配置环境变量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 如果有文件系统需要先删除
rm -rf /opt/hadoop-repo/
rm -rf /opt/hadoop  //在一个机器就上留hadoop
4 分发hadoop
[root@mini01]:
	scp -r /opt/hadoop mini02:/opt/
	scp -r /opt/hadoop mini03:/opt/
	scp -r /opt/hadoop mini04:/opt/
	scp -r /opt/hadoop mini05:/opt/
5 启动ZooKeeper集群
[root@mini03]:
	zkServer.sh start

[root@mini04]:
	zkServer.sh start
	
[root@mini05]:
	zkServer.sh start
6 启动journalnode集群
[root@mini03]:
	hadoop-daemon.sh start journalnode

[root@mini04]:
	hadoop-daemon.sh start journalnode
	
[root@mini05]:
	hadoop-daemon.sh start journalnode
7 格式化文件系统

挑选一个配置了namenode的机器进行格式化文件系统

[root@mini01]:
	hdfs namenode -format
8 给其他namenode分发文件系统的元信息
[root@mini01]:
	scp -r hadoop-repo/ mini02:/opt/
9 格式化zkfc

在namenode的任意一个机器上格式化zkfc

[root@mini01]:
	hdfs zkfc -formatZK
10 启动集群
start-all.sh
11 yarn的bug

执行start-all.sh时,在mini02上的yarn不会自动启动,要手动启动

[root@mini02]:
	yarn-daemon.sh start resourcemanager
	yarn-daemon.sh stop resourcemanager(关闭)
12 集群的进程
mini01,mini02:
         NameNode
         DFSZKFailoverController
         ResourceManager

mini03,mini04,mini05:
         DataNode
         JournalNode
         QuorumPeerMain
         NodeManager
13 验证安装
http://mini01:50070
http://mini02:50070
http://mini01:8088
http://mini02:8088
启动zkfc

在这里插入图片描述

HA集群说明

在这里插入图片描述

m_target
关注
专栏目录
Hadoop HA 高可用集群搭建
悦分享
07-15 265
其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。8)启动ZooKeeperFailoverCotroller，在ch01,ch02机器上依次执行以下命令，这个时候再浏览50070端口，可以发现ch01变成active状态了，而m2还是standby状态。2)在每台机器上执行下面的命令，可以查看状态，在ch01上是leader，其他机器是follower。6)启动所有的datanode，在ch01上执行。...
基于ZK的Hadoop HA高可用集群搭建
Zonzereal的博客
01-12 3869
什么是高可用 高可用性H.A.（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。 HA三种工作方式 （1）主从方式 （非对称方式） 工作原理：主机工作，备机处于监控准备状况；当主机宕机时，备机接管主机的一切工作，待主机恢复正常后，
HDFS-HA 集群搭建 YARN-HA 集群的搭建 配置 HDFS-HA 自动故障转移机制
csdnwindnorth的博客
09-06 876
HA概述 1.所谓HA（high available），即高可用（7*24小时不中断服务）。 2.实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3.Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4.NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无...
HA（高可用）集群搭建
getBinary的博客
03-22 170
高可用集群搭建配置文件初始化yarn配置 在完全分布式集群基础上修改，共三台结点 配置文件 需要修改两个配置文件 core-site.xml <configuration> <property> #这里的hadoopHA是自定义的集群名称 <name>fs.defaultFS</name> <value>hdfs://hadoopHA</value> </property&
HA：高可用集群搭建
weixin_48293076的博客
04-01 335
HA高可用集群搭建 需要知道的是部署集群节点至少需要三台虚拟机，这里我命名为node01,node02,node03，另外需要自己准备好各种安装包，一下是需要准备的安装包和本人使用的版本信息： ISO映像文件 ：CentOS-7-x86_64-Minimal-1804.iso jdk：jdk-8u231-linux-x64.tar.gz Hadoop：hadoop-3.1.4.tar.gz zookeeper：apache-zookeeper-3.6.2-bin.tar.gz 部署集群节点 我们接下来需要部
HA高可用集群的搭建
weixin_66580854的博客
06-14 858
高可用性(high availability)通常用来描述一个系统经过专门的设计,从而减少停工的时间,而保持其服务的高度可用性提示：以下是本篇文章正文内容，下面案例可供参考基于已经安装好jdk与搭建好的hadoop集群和zookeeper再进行HA的搭建本人学习的一些心得，也有一些踩过的坑，刚入门的小萌新！！！
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
k8s HA高可用集群搭建部署
06-29
课程内容分为两部分（主要内容为k8s搭建，解决了无法下载镜像问题）一部分为k8s高可用集群搭建部署以及第三方dashboard的管理页面，可以实现在页面上进行管操作，第二部分为k8s在线升级以及k8s采用第三方插件helm...
Hadoop HA 原理及HA 高可用集群搭建
m0_46589706的博客
05-31 797
完全分布式参考：Hadoop完全分布式搭建。 目录 一、前期准备 二、HA 概述 三、原理 四、HA 集群搭建 4.1 HA集群搭建规划 4.2 Hadoop HA集群搭建 五、web端访问查询 序： 软件版本： VMware：VMware-15.5.1 Linux：CentOS-7.5-x86_64-DVD-1804.iso JDK:jdk-8u212-linux-x64.tar.gz Hadoop：hadoop-3.1.3.tar.gz Zookeeper:zookeepe
Hadoop HA高可用集群搭建
weixin_51938762的博客
06-21 276
Hadoop-HA，Hadoop高可用集群的搭建，Yarn-HA搭建
Hadoop高可用（HA）集群搭建
qq_38787854的博客
03-26 321
需要的安装包： 注意：所有安装包均为 .tar.gz 格式 1、jdk压缩包 ：jdk-8u162-linux-x64.tar.gz 2、zookeeper压缩包：zookeeper-3.4.6.tar.gz 3、hadoop压缩包：hadoop-2.7.3.tar.gz 4、Vmware安装包和CentOs镜像文件： vm12 镜像： CentOS-6.8-x86_64-bin-DVD1...
HA高可用集群文档搭建
qq_52297180的博客
01-01 438
HADOOP的HA高可用集群的搭建流程以及初始化启动流程
hadoop 完全分布式HA高可用集群（自动切换）搭建
cl2010abc的专栏
06-02 4603
实验环境 namenode1: 192.168.103.4 namenode2: 192.168.103.8 datanode1：192.168.103.15 datanode2: 192.168.103.5 datanode3: 192.168.103.3 操作系统: ubuntu-16.04-x64 hadoop版本: apache-hadoop-2.6.5 jdk版本：1.8 安装步...
22 - Hadoop HA 高可用集群搭建、手动模式、自动模式以及HA模式集群
最新发布
花&败
04-29 1536
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的 热备来解决上述问题。
16 ，高可用集群的搭建 ( HA )
孙砚秋的博客
07-03 499
一 ，理论知识 ： 1 ，前提 ： 基于 zookeeper 2 ，架构图 ： 3 ，各个组件的作用 ：NameNode ( 2 个 ) 他是 hdfs 主节点。 NameNode 的 active 状态 ： 使用中的主节点 NameNode 的 stabdby 状态 ： 待命的主节点 4 ，各个组件的作用 ：zkfc ( 2 个，跟 nameNode/resourceManager 在一起...
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 3003
HDFS HA 高可用搭建详细图文教程
HA集群搭建
07-28 2063
Spark高可用：https://blog.csdn.net/qq_36434219/article/details/80961183 Hadoop和Spark集群搭建：https://blog.csdn.net/qq_36434219/article/details/80716189   HA集群部署： 主机名      安装的软件                           运...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值