基于ZooKeeper搭建Hadoop高可用集群，附大数据入门指南

最新推荐文章于 2023-07-05 22:53:52 发布
最新推荐文章于 2023-07-05 22:53:52 发布
阅读量606 收藏 2
点赞数

640?wx_fmt=png


大数据依然是当前较为火热的领域，其背后的核心价值是数据。今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https://github.com/heibaiying/BigData-Notes，内容涉及下图的相关技术。


本文为其中的一篇Hadoop主题系列的一节文章，刊载以飨读者，建议复制指南地址至浏览器收藏标签，实时更新，也以便长时间查阅，或者给个Star，毕竟是免费的。


640?wx_fmt=png


一、高可用简介


Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解：


1.1 高可用整体架构


HDFS 高可用架构如下：

640?wx_fmt=png

图片引用自：https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/

HDFS 高可用架构主要由以下组件所构成：


  • Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务。

  • 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zookeeper 实现自动的主备选举和切换，当然 NameNode 目前也支持不依赖于 Zookeeper 的手动主备切换。

  • Zookeeper 集群：为主备切换控制器提供主备选举支持。

  • 共享存储系统：共享存储系统是实现 NameNode 的高可用最为关键的部分，共享存储系统保存了 NameNode 在运行过程中所产生的 HDFS 的元数据。主 NameNode 和 NameNode 通过共享存储系统实现元数据同步。在进行主备切换的时候，新的主 NameNode 在确认元数据完全同步之后才能继续对外提供服务。

  • DataNode 节点：除了通过共享存储系统共享 HDFS 的元数据信息之外，主 NameNode 和备 NameNode 还需要共享 HDFS 的数据块和 DataNode 之间的映射关系。DataNode 会同时向主 NameNode 和备 NameNode 上报数据块的位置信息。


1.2 基于 QJM 的共享存储系统的数据同步机制分析


目前 Hadoop 支持使用 Quorum Journal Manager (QJM) 或 Network File System (NFS) 作为共享的存储系统，这里以 QJM 集群为例进行说明：Active NameNode 首先把 EditLog 提交到 JournalNode 集群，然后 Standby NameNode 再从 JournalNode 集群定时同步 EditLog，当 Active NameNode 宕机后， Standby NameNode 在确认元数据完全同步之后就可以对外提供服务。


需要说明的是向 JournalNode 集群写入 EditLog 是遵循 “过半写入则成功” 的策略，所以你至少要有3个 JournalNode 节点，当然你也可以继续增加节点数量，但是应该保证节点总数是奇数。同时如果有 2N+1 台 JournalNode，那么根据过半写的原则，最多可以容忍有 N 台 JournalNode 节点挂掉。


640?wx_fmt=png


1.3 NameNode 主备切换


NameNode 实现主备切换的流程下图所示：


640?wx_fmt=png



  1. HealthMonitor 初始化完成之后会启动内部的线程来定时调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法，对 NameNode 的健康状态进行检测。

  2. HealthMonitor 如果检测到 NameNode 的健康状态发生变化，会回调 ZKFailoverController 注册的相应方法进行处理。

  3. 如果 ZKFailoverController 判断需要进行主备切换，会首先使用 ActiveStandbyElector 来进行自动的主备选举。

  4. ActiveStandbyElector 与 Zookeeper 进行交互完成自动的主备选举。

  5. ActiveStandbyElector 在主备选举完成后，会回调 ZKFailoverController 的相应方法来通知当前的 NameNode 成为主 NameNode 或备 NameNode。

  6. ZKFailoverController 调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法将 NameNode 转换为 Active 状态或 Standby 状态。


1.4 YARN高可用


YARN ResourceManager 的高可用与 HDFS NameNode 的高可用类似，但是 ResourceManager 不像 NameNode ，没有那么多的元数据信息需要维护，所以它的状态信息可以直接写到 Zookeeper 上，并依赖 Zookeeper 来进行主备选举。

640?wx_fmt=png


二、集群规划


按照高可用的设计目标：需要保证至少有两个 NameNode (一主一备) 和 两个 ResourceManager (一主一备) ，同时为满足“过半写入则成功”的原则，需要至少要有3个 JournalNode 节点。这里使用三台主机进行搭建，集群规划如下：


640?wx_fmt=png


三、前置条件


  • 所有服务器都安装有JDK，安装步骤可以参见：Linux下JDK的安装；

  • 搭建好ZooKeeper集群，搭建步骤可以参见：Zookeeper单机环境和集群环境搭建

  • 所有服务器之间都配置好SSH免密登录。


四、集群配置


4.1 下载并解压


下载Hadoop。这里我下载的是CDH版本Hadoop，下载地址为：http://archive.cloudera.com/cdh5/cdh/5/

 
 
 
 
# tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz 
 
 

 
 
4.2 配置环境变量
 
 

 
 
编辑profile文件：
 
 
 
 
 
 
# vim /etc/profile
 
 
增加如下配置：
 
 
 
 
 
 
export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2	
export  PATH=${HADOOP_HOME}/bin:$PATH
 
 
执行source命令，使得配置立即生效：
 
 
 
 
 
 
# source /etc/profile
 
 

 
 
4.3 修改配置
 
 

 
 
进入${HADOOP_HOME}/etc/hadoop目录下，修改配置文件。各个配置文件内容如下：
 
 

 
 
1. hadoop-env.sh
 
 
 
 
 
 
# 指定JDK的安装位置	
export JAVA_HOME=/usr/java/jdk1.8.0_201/
 
 

 
 
2. core-site.xml
 
 
 
 
 
 
<configuration>	
    <property>	
        <!-- 指定namenode的hdfs协议文件系统的通信地址 -->	
        <name>fs.defaultFS</name>	
        <value>hdfs://hadoop001:8020</value>	
    </property>	
    <property>	
        <!-- 指定hadoop集群存储临时文件的目录 -->	
        <name>hadoop.tmp.dir</name>	
        <value>/home/hadoop/tmp</value>	
    </property>	
    <property>	
        <!-- ZooKeeper集群的地址 -->	
        <name>ha.zookeeper.quorum</name>	
        <value>hadoop001:2181,hadoop002:2181,hadoop002:2181</value>	
    </property>	
    <property>	
        <!-- ZKFC连接到ZooKeeper超时时长 -->	
        <name>ha.zookeeper.session-timeout.ms</name>	
        <value>10000</value>	
    </property>	
</configuration>
 
 

 
 
3. hdfs-site.xml
 
 
 
 
 
 
<configuration>	
    <property>	
        <!-- 指定HDFS副本的数量 -->	
        <name>dfs.replication</name>	
        <value>3</value>	
    </property>	
    <property>	
        <!-- namenode节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔 -->	
        <name>dfs.namenode.name.dir</name>	
        <value>/home/hadoop/namenode/data</value>	
    </property>	
    <property>	
        <!-- datanode节点数据（即数据块）的存放位置 -->	
        <name>dfs.datanode.data.dir</name>	
        <value>/home/hadoop/datanode/data</value>	
    </property>	
    <property>	
        <!-- 集群服务的逻辑名称 -->	
        <name>dfs.nameservices</name>	
        <value>mycluster</value>	
    </property>	
    <property>	
        <!-- NameNode ID列表-->	
        <name>dfs.ha.namenodes.mycluster</name>	
        <value>nn1,nn2</value>	
    </property>	
    <property>	
        <!-- nn1的RPC通信地址 -->	
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>	
        <value>hadoop001:8020</value>	
    </property>	
    <property>	
        <!-- nn2的RPC通信地址 -->	
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>	
        <value>hadoop002:8020</value>	
    </property>	
    <property>	
        <!-- nn1的http通信地址 -->	
        <name>dfs.namenode.http-address.mycluster.nn1</name>	
        <value>hadoop001:50070</value>	
    </property>	
    <property>	
        <!-- nn2的http通信地址 -->	
        <name>dfs.namenode.http-address.mycluster.nn2</name>	
        <value>hadoop002:50070</value>	
    </property>	
    <property>	
        <!-- NameNode元数据在JournalNode上的共享存储目录 -->	
        <name>dfs.namenode.shared.edits.dir</name>	
        <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/mycluster</value>	
    </property>	
    <property>	
        <!-- Journal Edit Files的存储目录 -->	
        <name>dfs.journalnode.edits.dir</name>	
        <value>/home/hadoop/journalnode/data</value>	
    </property>	
    <property>	
        <!-- 配置隔离机制，确保在任何给定时间只有一个NameNode处于活动状态 -->	
        <name>dfs.ha.fencing.methods</name>	
        <value>sshfence</value>	
    </property>	
    <property>	
        <!-- 使用sshfence机制时需要ssh免密登录 -->	
        <name>dfs.ha.fencing.ssh.private-key-files</name>	
        <value>/root/.ssh/id_rsa</value>	
    </property>	
    <property>	
        <!-- SSH超时时间 -->	
        <name>dfs.ha.fencing.ssh.connect-timeout</name>	
        <value>30000</value>	
    </property>	
    <property>	
        <!-- 访问代理类，用于确定当前处于Active状态的NameNode -->	
        <name>dfs.client.failover.proxy.provider.mycluster</name>	
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>	
    </property>	
    <property>	
        <!-- 开启故障自动转移 -->	
        <name>dfs.ha.automatic-failover.enabled</name>	
        <value>true</value>	
    </property>	
</configuration>
 
 

 
 
4. yarn-site.xml
 
 
 
 
 
 
<configuration>	
    <property>	
        <!--配置NodeManager上运行的附属服务。需要配置成mapreduce_shuffle后才可以在Yarn上运行MapReduce程序。-->	
        <name>yarn.nodemanager.aux-services</name>	
        <value>mapreduce_shuffle</value>	
    </property>	
    <property>	
        <!-- 是否启用日志聚合(可选) -->	
        <name>yarn.log-aggregation-enable</name>	
        <value>true</value>	
    </property>	
    <property>	
        <!-- 聚合日志的保存时间(可选) -->	
        <name>yarn.log-aggregation.retain-seconds</name>	
        <value>86400</value>	
    </property>	
    <property>	
        <!-- 启用RM HA -->	
        <name>yarn.resourcemanager.ha.enabled</name>	
        <value>true</value>	
    </property>	
    <property>	
        <!-- RM集群标识 -->	
        <name>yarn.resourcemanager.cluster-id</name>	
        <value>my-yarn-cluster</value>	
    </property>	
    <property>	
        <!-- RM的逻辑ID列表 -->	
        <name>yarn.resourcemanager.ha.rm-ids</name>	
        <value>rm1,rm2</value>	
    </property>	
    <property>	
        <!-- RM1的服务地址 -->	
        <name>yarn.resourcemanager.hostname.rm1</name>	
        <value>hadoop002</value>	
    </property>	
    <property>	
        <!-- RM2的服务地址 -->	
        <name>yarn.resourcemanager.hostname.rm2</name>	
        <value>hadoop003</value>	
    </property>	
    <property>	
        <!-- RM1 Web应用程序的地址 -->	
        <name>yarn.resourcemanager.webapp.address.rm1</name>	
        <value>hadoop002:8088</value>	
    </property>	
    <property>	
        <!-- RM2 Web应用程序的地址 -->	
        <name>yarn.resourcemanager.webapp.address.rm2</name>	
        <value>hadoop003:8088</value>	
    </property>	
    <property>	
        <!-- ZooKeeper集群的地址 -->	
        <name>yarn.resourcemanager.zk-address</name>	
        <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>	
    </property>	
    <property>	
        <!-- 启用自动恢复 -->	
        <name>yarn.resourcemanager.recovery.enabled</name>	
        <value>true</value>	
    </property>	
    <property>	
        <!-- 用于进行持久化存储的类 -->	
        <name>yarn.resourcemanager.store.class</name>	
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>	
    </property>	
</configuration>
 
 

 
 
5. mapred-site.xml
 
 
 
 
 
 
<configuration>	
    <property>	
        <!--指定mapreduce作业运行在yarn上-->	
        <name>mapreduce.framework.name</name>	
        <value>yarn</value>	
    </property>	
</configuration>
 
 

 
 
6. slaves
 
 

 
 
配置所有从属节点的主机名或IP地址，每行一个。所有从属节点上的DataNode服务和NodeManager服务都会被启动。
 
 

 
 
 
 
 
 
hadoop001	
hadoop002	
hadoop003
 
 

 
 
4.4 分发程序
 
 

 
 
将Hadoop安装包分发到其他两台服务器，分发后建议在这两台服务器上也配置一下Hadoop的环境变量。
 
 
 
 
 
 
# 将安装包分发到hadoop002	
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop002:/usr/app/	
# 将安装包分发到hadoop003	
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/  hadoop003:/usr/app/
 
 

 
 
五、启动集群
 
 

 
 
5.1 启动ZooKeeper
 
 

 
 
分别到三台服务器上启动ZooKeeper服务：
 
 
 
 
 
 
zkServer.sh start
 
 

 
 
5.2 启动Journalnode
 
 

 
 
分别到三台服务器的的${HADOOP_HOME}/sbin目录下，启动journalnode进程：
 
 
 
 
 
 
hadoop-daemon.sh start journalnode
 
 

 
 
5.3 初始化NameNode
 
 

 
 
在hadop001上执行NameNode初始化命令：
 
 
 
 
 
 
hdfs namenode -format
 
 

 
 
执行初始化命令后，需要将NameNode元数据目录的内容，复制到其他未格式化的NameNode上。元数据存储目录就是我们在hdfs-site.xml中使用dfs.namenode.name.dir属性指定的目录。这里我们需要将其复制到hadoop002上：
 
 
 
 
 
 
scp -r /home/hadoop/namenode/data hadoop002:/home/hadoop/namenode/
 
 

 
 
5.4 初始化HA状态
 
 

 
 
在任意一台NameNode上使用以下命令来初始化ZooKeeper中的HA状态：
 
 
 
 
 
 
hdfs zkfc -formatZK
 
 

 
 
5.5 启动HDFS
 
 

 
 
进入到hadoop001的${HADOOP_HOME}/sbin目录下，启动HDFS。此时hadoop001和hadoop002上的NameNode服务，和三台服务器上的DataNode服务都会被启动：
 
 
 
 
 
 
start-dfs.sh
 
 

 
 
5.6 启动YARN
 
 

 
 
进入到hadoop002的${HADOOP_HOME}/sbin目录下，启动YARN。此时hadoop002上的ResourceManager服务，和三台服务器上的NodeManager服务都会被启动：
 
 
 
 
 
 
start-yarn.sh
 
 

 
 
需要注意的是，这个时候hadoop003上的ResourceManager服务通常是没有启动的，需要手动启动：
 
 
 
 
 
 
yarn-daemon.sh start resourcemanager
 
 

 
 
六、查看集群
 
 

 
 
6.1 查看进程
 
 

 
 
成功启动后，每台服务器上的进程应该如下：
 
 
 
 
 
 
[root@hadoop001 sbin]# jps	
4512 DFSZKFailoverController	
3714 JournalNode	
4114 NameNode	
3668 QuorumPeerMain	
5012 DataNode	
4639 NodeManager	
	
	
[root@hadoop002 sbin]# jps	
4499 ResourceManager	
4595 NodeManager	
3465 QuorumPeerMain	
3705 NameNode	
3915 DFSZKFailoverController	
5211 DataNode	
3533 JournalNode	
	
	
[root@hadoop003 sbin]# jps	
3491 JournalNode	
3942 NodeManager	
4102 ResourceManager	
4201 DataNode	
3435 QuorumPeerMain
 
 

 
 
6.2 查看Web UI
 
 

 
 
HDFS和YARN的端口号分别为50070和8080，界面应该如下：
 
 

 
 
此时hadoop001上的NameNode处于可用状态：
 
 

 
 
640?wx_fmt=png
 
 
而hadoop002上的NameNode则处于备用状态：
 
 

 
 
640?wx_fmt=png
 
 

 
 
hadoop002上的ResourceManager处于可用状态：
 
 

 
 
640?wx_fmt=png
 
 

 
 
hadoop003上的ResourceManager则处于备用状态：
 
 

 
 
640?wx_fmt=png
 
 

 
 
同时界面上也有Journal Manager的相关信息：
 
 

 
 
640?wx_fmt=png
 
 

 
 
七、集群的二次启动
 
 

 
 
上面的集群初次启动涉及到一些必要初始化操作，所以过程略显繁琐。但是集群一旦搭建好后，想要再次启用它是比较方便的，步骤如下（首选需要确保ZooKeeper集群已经启动）：
 
 

 
 
在hadoop001启动 HDFS，此时会启动所有与 HDFS 高可用相关的服务，包括 NameNode，DataNode 和 JournalNode：
 
 
 
 
 
 
start-dfs.sh
 
 

 
 
在hadoop002启动YARN：
 
 
 
 
 
 
start-yarn.sh
 
 

 
 
这个时候hadoop003上的ResourceManager服务通常还是没有启动的，需要手动启动：
 
 
 
 
 
 
yarn-daemon.sh start resourcemanager
 
 

 
 
参考资料
 
 
以上搭建步骤主要参考自官方文档：
 
 
  • HDFS High Availability Using the Quorum Journal Manager（https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html）
  • ResourceManager High Availability（https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html）
 
 
关于Hadoop高可用原理的详细分析，推荐阅读IBM开发者中心的一篇文章《Hadoop NameNode 高可用 (High Availability) 实现解析》：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html
 
 

 
 
版权申明：内容来源网络，版权归原创者所有。除非无法确认，我们都会标明作者及出处，如有侵权烦请告知，我们会立即删除并表示歉意。谢谢。
 
 640?wx_fmt=png 
 
 
 
架构文摘
 
 
ID：ArchDigest
 
 
互联网应用架构丨架构技术丨大型网站丨大数据
 
 
640?wx_fmt=png
 
 
更多精彩文章，请点击下方：阅读原文
 


                

        

        

    




    

      

        

            

              
                
                  架构文摘
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
三台异构服务器搭建hadoop HA集群史上最详细方案（HDFS+YARN）

				
			

			

				

					weixin_43132360的博客
				

				

					05-15
					
					2991
					
				

			

		

		

			
				
三台异构主机配置hadoop高可用环境，网上见到的HA的少，记录一下

			
		

	



                

              
                



	

		

			

				
					
第七章 ：Hadoop+Zookeeper 3节点高可用集群搭建和原理解释

				
			

			

				

					小爷欣欣
				

				

					04-02
					
					3748
					
				

			

		

		

			
				
一，原理先说一下Zookeeper在Hadoop集群的作用，以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNode，没有Active和Standby状态的两个NameNode之说，因此根本就不需要Zookeepr来帮我们自动切换。但是Hadoop真正的集群就不一样了，为了集群的高可靠性，Hadoop集群采用主备NameNode方式来工作，一个处于Ac...

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop3的高可用搭建

				
			

			

				

					Baron_ND的博客
				

				

					06-21
					
					1322
					
				

			

		

		

			
				
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。

			
		

	





	

		

			

				
					
基于zookeeper的Hadoop集群搭建详细步骤

				
			

			

				

					Helen_1997_1997的博客
				

				

					02-15
					
					1889
					
				

			

		

		

			
				
基于zookeeper搭建Hadoop集群

			
		

	



		

			
		



	

		

			

				
					
zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用(HA)集群

				
			

			

				

					sara的博客
				

				

					12-22
					
					2210
					
				

			

		

		

			
				
摘要：

本文档介绍了基于Centos7的Hadoop集群的搭建过程，在借鉴别人文章的基础上和自己的试验，扩展总结了Hadoop的基础知识和项目的搭建流程。部署了两个master节点和三个salve节点的Hadoop高可用集群，在master和slave主机上配置了HDFS（hadoop分布式文件系统）、HBase（集群数据库）以及Zookeeper（集群维护服务），同时详细给出部署过程和测试结果。并对部署过程中遇到的bug进行记录。

1 关于集群

1.1 Hadoop是什么

Hadoop是由java

			
		

	





	

		

			

				
					
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解

				
			

			

				

					09-29
				

			

		

		

			
				
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...

			
		

	





	

		

			

				
					
基于Zookeeper搭建Hadoop高可用集群

				
			

			

				

					08-09
				

			

		

		

			
				
基于Zookeeper搭建Hadoop高可用集群

			
		

	





	

		

			

				
					
基于Zookeeper搭建Kafka高可用集群

					
最新发布

				
			

			

				

					08-09
				

			

		

		

			
				
基于Zookeeper搭建Kafka高可用集群

			
		

	





	

		

			

				
					
Hadoop集群高可用及zookeeper+kafka组件搭建

				
			

			

				

					kali_yao的博客
				

				

					03-13
					
					3900
					
				

			

		

		

			
				
一.Hadoop集群高可用

角色与配置

主机名
			IP地址
			角色服务
		hadoop1
			192.168.1.50
			namenode, resourcemanager, ZKFC
		hadoop2
			192.168.1.56
			namenode, resourcemanager, ZKFC
		node-0001
			192.168.1.51
			datanode, nodemanager, zookeeper, journalnode
		node-0002
			

			
		

	





	

		

			

				
					
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

					
热门推荐

				
			

			

				

					Mr.L-OAM的博客
				

				

					07-05
					
					1万+
					
				

			

		

		

			
				
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建

			
		

	





	

		

			

				
					
使用Zookeeper对集群节点进行管理

				
			

			

				

					Ethan Mr.的博客
				

				

					05-13
					
					1284
					
				

			

		

		

			
				
通过zookeeper可以模拟实现对集群节点上下线进行监测，当服务器节点上线时，作为临时节点注册到zookeeper中的/servers目录下，如/servers/hadoop102，而节点下线时临时节点就会从目录中删除。服务器3启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。如果当前节点失联，leader仍存在，虽然当前节点会试图去选举Leader，但与其他节点交换信息时会被告知当前服务器的Leader信息，然后重新和Leader机器建立连接，并进行状态同步即可。

			
		

	





	

		

			

				
					
大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

				
			

			

				

					老杜的博客
				

				

					01-04
					
					809
					
				

			

		

		

			
				
基于Apache Hadoop搭建Hadoop集群HA+Zookeeper集群

			
		

	





	

		

			

				
					
Hadoop+Zookeeper实现hadoop高可用

				
			

			

				

					web13170611647的博客
				

				

					08-17
					
					274
					
				

			

		

		

			
				
了实现这个,集群中所有的 Database 将配置好 Active NN 和 Standby NN 的位置,并向它们。间,将要变成 Active 状态的 NN 将取得 writer 的角色,并阻止另外一个 NN 继续处于 Active。在任何时候,集群中只有一个 NN 处于 Active 状态是极其重要的。为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会和。而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢。...

			
		

	





	

		

			

				
					
（超详细）基于Zookeeper的Hadoop HA集群的搭建

				
			

			

				

					JunLeon的博客
				

				

					10-10
					
					9077
					
				

			

		

		

			
				
基于Zookeeper的Hadoop HA集群的搭建

JunLeon——go big or go home







前言：

高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。

Hadoop HA是hadoop2.0后新添加的特性，包括NameNode HA和ResourceManager HA。

NameNode HA采用双Na...

			
		

	





	

		

			

				
					
Hadoop大数据平台(2)--工作机制、yarn资源管理器、Hadoop+zookeeper高可用

				
			

			

				

					小螺号的博客
				

				

					04-25
					
					660
					
				

			

		

		

			
				
文章目录一、HDFS工作机制二、yarn资源管理器配置1.编辑配置文件2.读入数据
一、HDFS工作机制

首先客户端创建任务，然后由资源管理器会把请求发往nn节点（namenode），之后nn将会进行分配，比如说分配多少个block、复制几份等，然后nn将会把block分配的节点的地址回传给客户端，之后客户端会以数据包（流）的形式从第一个block往后面的数据节点上开始发送，开始存，同时也会把这个数据列表发往datanode节点，datanode节点将会把这个数据列表传递给其它的datanode，值得一提

			
		

	





	

		

			

				
					
大数据技术之Hadoop(五)——Zookeeper

				
			

			

				

					weixin_63507910的博客
				

				

					01-09
					
					1154
					
				

			

		

		

			
				
Zookeeper的安装与认识

			
		

	





	

		

			

				
					
hadoop+hive+spark+zookeeper+hbase大数据环境搭建

				
			

			

				

					fengwuxichen的博客
				

				

					04-17
					
					854
					
				

			

		

		

			
				
1. 硬件环境




主机名
IP地址
操作系统




master
172.16.34.101
CentOS Linux release 7.3.1611


slave01
172.16.34.102
CentOS Linux release 7.3.1611


slave03
172.16.34.103
CentOS Linux release 7.3.1611


2. 软件版本

...

			
		

	





	

		

			

				
					
大数据--Hadoop环境部署(3)JDK和ZooKeeper环境配置

				
			

			

				

					qq_51641196的博客
				

				

					12-03
					
					953
					
				

			

		

		

			
				
Linux环境搭建:https://www.cnblogs.com/Studywith/p/16946297.html免密连接:https://www.cnblogs.com/Studywith/p/16946310.html在完成了Linux虚拟机的基础配置后,接下来进行JDK和ZooKeeper相关环境的配置一.部署JDK1.官网下载JDKhttps://www.oracle.com/jav...

			
		

	





	

		

			

				
					
关于zookeeper和hadoop集群的关联关系

				
			

			

				

					Ghjkluuu的博客
				

				

					02-15
					
					5112
					
				

			

		

		

			
				
zookeeper:在集群中的作用是负责管理集群中·包括（namenode,ReducerManger,的主备切换作用，以及一些分布式组件的配置信息，和状态信息，还提供发布/订阅功能其主要目的就是在zookeeper集群上通过创建znode节点记录集群中一些位置信息，状态信息的变化，然后通过zookeeper的watcher机制把变化的节点中的内容通知到客户端，然后客户端从hadoop集群上下载内容），和负责监控集群的nameNode的状态。

主备切换：简单点就是说假如存在两个nameNode，一个nam

			
		

	





	

		

			

				
					
Hadoop高可用集群搭建

				
			

			

				

					04-29
				

			

		

		

			
				
Hadoop是一个分布式计算框架，它的高可用性非常重要。在Hadoop集群中，如果一个节点宕机或出现故障，会影响整个集群的运行。因此，为了保证Hadoop集群的高可用性，需要搭建高可用集群。以下是Hadoop高可用集群搭建的步骤：

1. 安装ZooKeeper

ZooKeeper是Hadoop集群高可用性的核心组件。在Hadoop 2.x版本中，ZooKeeper是必须的。因此，需要先安装ZooKeeper。

2. 配置ZooKeeper

在ZooKeeper中，需要配置一些参数，如集群节点的IP地址、端口号等。这些参数将用于确保ZooKeeper在Hadoop集群中的正常运行。

3. 配置Hadoop

在Hadoop中，需要配置一些参数以确保Hadoop与ZooKeeper的正确交互。需要修改hdfs-site.xml和core-site.xml文件。

4. 配置NameNode的高可用性

NameNode是Hadoop集群中的关键组件之一。为了确保NameNode的高可用性，需要将其配置为Active-Standby模式。这意味着在一个节点宕机时，另一个节点将成为Active节点，继续处理请求。

5. 配置ResourceManager的高可用性

ResourceManager是YARN的关键组件之一，它管理着整个集群的资源。为了确保ResourceManager的高可用性，需要将其配置为Active-Standby模式。这意味着在一个节点宕机时，另一个节点将成为Active节点，继续处理请求。

6. 测试集群

最后，需要测试Hadoop集群的高可用性。可以通过关闭某个节点来模拟节点宕机的情况，然后观察Hadoop集群的行为。

以上是Hadoop高可用集群搭建的步骤。通过这些步骤，可以确保Hadoop集群的高可用性，提高整个集群的稳定性和可靠性。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值