Zookeeper集群和Hadoop集群安装（保姆级教程）

已于 2023-03-08 16:56:06 修改
阅读量3.3k 收藏 34
点赞数 2
分类专栏： 大数据开发 文章标签： hadoop zookeeper 大数据 集群搭建
于 2023-03-07 19:52:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aj_shang/article/details/129389807
版权

1. HA

  • HA（Heigh Available）高可用

    • 解决单点故障，保证企业服务 7*24 小时不宕机
    • 单点故障：某个节点宕机导致整个集群的宕机

  • Hadoop 的 HA

    • NameNode 存在单点故障的可能，需要配置 HA 解决
    • 引入第二个 NameNode 作为备份
    • 同步两个 NameNode 的数据
    • 在第一个 NameNode 宕机后启用第二个 NameNode

  • HA架构

在这里插入图片描述

2. Zookeeper

  • Zookeeper 是一个分布式服务器框架

    • 提供了分布式程序通用的功能
    • 统一命名服务
    • 状态同步服务
    • 集群管理
    • 分布式应用配置项

  • Zookeeper 集群

    • 为了防止 Zookeeper 出现单点故障问题，
    • Zookeeper 通常以集群的方式使用
    • 一般为 3 或 5 个节点

  • Zookeeper 集群角色

    • Leader：被选举出的，与客户端交互
    • Follower：Leader 的备份，参与选举操作

  • Zookeeper 集群选举机制

    • 少数服从多少
    • 编号大的优先

2.1 Zookeeper 的安装

#1、上传 Zookeeper 到 /home/hadoop 目录

#2、解压 Zookeeper 到 /usr/local 目录中
sudo tar -xvf apache-zookeeper-3.6.1-bin.tar.gz -C /usr/local

#3、进入 /usr/local 目录
cd /usr/local

#4、将解压的目录重命名为 zookeeper
sudo mv apache-zookeeper-3.6.1-bin/ zookeeper

#5、修改 zookeeper 目录的拥有者为 Hadoop
sudo chown -R hadoop zookeeper

#6、进入 Zookeeper 安装目录下的 conf 目录
cd /usr/local/zookeeper/conf

#7、重命名 zoo_sample.cfg 文件为 zoo.cfg
mv zoo_sample.cfg zoo.cfg


#8、编辑环境变量
vim /home/hadoop/.bashrc

#9、在环境变量增加以下内容
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#10、刷新环境变量
source /home/hadoop/.bashrc

2.2 Zookeeper 的使用

#启动 Zookeeper
zkServer.sh start

#查看 Zookeeper 的状态
zkServer.sh status

#关闭 Zookeeper
zkServer.sh stop

在这里插入图片描述

3. Zookeeper 的集群规划

节点主机名ip
master192.168.114.133 （自己的电脑IP，后面顺延就行）
slave1192.168.114.134
slave2192.168.114.135

  • 搭建 3 节点的 Zookeeper 集群

    • 规划 主机名 和 IP

  • 修改节点的主机名

    • #修改
sudo hostnamectl set-hostname master
#查看
hostname

3.1 克隆虚拟机

1、关闭虚拟机中的所有软件并关闭虚拟机
2、在已有的虚拟机下右键点击“管理”->“克隆”
3、选择完整克隆
4、点击下一步直到去修改虚拟机信息
5、等待克隆完成后关闭操作窗口
6、重置虚拟机网卡

7、使用 root 用户登录，密码为 123456

8、配置 IP 地址

#1、 编辑 IP 配置文件
vim /etc/netplan/50-cloud-init.ymal

#2、修改 IP 地址为 192.168.114.134

#3、重启网络
netplan apply

#9、修改主机名
hostnamectl set-hostname slave1
hostname

10、照上操作再克隆出一个虚拟机
设置 IP 为 原克隆节点顺延后的ip
设置主机名为 slave2

3.2 搭建 Zookeeper 集群

#1、启动三台虚拟机，使用 Hadoop 用户登录

#2、编辑三台虚拟机的 hosts 文件

sudo vim /etc/hosts

#3、在文件最后添加以下内容（ip是自己电脑上的ip）
192.168.114.133 master
192.168.114.134 slave1
192.168.114.135 slave2

#4、互相之间使用 ping 命令，验证是否配置成功

ping master、ping slave1、ping slave2

#5、配置三个节点之间的免密登录
#1、删除 3 个节点上的 ssh 配置文件（3 个节点都执行）

rm -rf /home/hadoop/.ssh

#2、在 3 个节点上生成公钥（3 个节点都执行）

ssh-keygen

#3、发送各个节点的公钥给 master（3 个节点都执行）

ssh-copy-id master

#4、master 发送 authorized_keys 给 slave1 和 slave2
#仅在 master 执行

scp /home/hadoop/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/
scp /home/hadoop/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/

#6、配置 Zookeeper 的配置文件----------------------

#1、编辑 3 个节点上的 zoo.cfg 文件（3 个节点都执行）
vim /usr/local/zookeeper/conf/zoo.cfg

#2、修改第 12 行的 dataDir 值（3 个节点都执行）
dataDir=/usr/local/zookeeper/data

#3、在文件最后追加以下内容（3 个节点都执行）
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

#7、配置 Zookeeper 的节点编号-----------------------

#1、在 3 个节点上创建 data 目录（3 个节点都执行）
mkdir /usr/local/zookeeper/data

#2、在 data 目录下创建 myid 文件（3 个节点都执行）
vim /usr/local/zookeeper/data/myid

#3、在 myid 文件填入每个节点的编号（3 个节点都执行）
master 节点填入 1
slave1 节点填入 2
slave2 节点填入 3

3.3 使用 Zookeeper 集群

#启动 Zookeeper 集群（3 个节点都执行）
zkServer.sh start

#查看 Zookeeper 集群的状态（3 个节点都执行）
zkServer.sh status

#关闭 Zookeeper 集群（3 个节点都执行）
zkServer.sh stop

验证状态：

在这里插入图片描述

4. Hadoop的HA配置

4.1 搭建Hadoop的分布式集群

  1. 把slave1和slave2两个节点作为DataNode和NodeManager加入Hadoop集群

    • 在masterj节点编辑slaves文件，设置Hadoop中的DataNode和NodeManager节点

    •  vim /usr/local/hadoop/etc/hadoop/slaves

    • 替换localhost为以下内容：

​ master

​ slave1

​ slave2

验证状态：

在这里插入图片描述

  1. master把修改后的slaves文件发送给slave1和slave2节点
scp /usr/local/hadoop/etc/hadoop/slaves hadoop@slave1:/usr/local/hadoop/etc/hadoop/

scp /usr/local/hadoop/etc/hadoop/slaves hadoop@slave2:/usr/local/hadoop/etc/hadoop/
  1. 在master修改core-site.xml文件，使用master(master:9000)替换ip地址做为Hadoop的访问地址
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

core-site.xml

<configuration>
	<!--hdfs的数据存储位置-->
	<property>
		<name>hadoop.tmp.dir</name>                                                   
		<value>file:/usr/local/hadoop/tmp</value>
	</property>

    <property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value><!--这里修改-->
    </property>

	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>*</value>
	</property>

	<property>
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
</configuration>

示例图片：

在这里插入图片描述

  1. 将修改好的core-site.xml文件发送给slave1和slave2文件
#发送给slave1
scp /usr/local/hadoop/etc/hadoop/core-site.xml hadoop@slave1:/usr/local/hadoop/etc/hadoop/
#发送给slave2
scp /usr/local/hadoop/etc/hadoop/core-site.xml hadoop@slave2:/usr/local/hadoop/etc/hadoop/
  1. 因为我们的slave1和slave2是从master克隆出来的，带有一些HDFS存储在master上的数据，我们需要删除。

​ 保险起见，在三个节点执行删除操作

rm -rf /usr/local/hadoop/tmp/dfs/
  1. 修改完配置文件后，注意在master节点初始化namenode节点
hdfs namenode -format

在这里插入图片描述

  1. 在master节点分别使用start-dfs.sh和start-yarn.sh命令启动HDFS和Yarn。

在这里插入图片描述

4.2 配置Hadoop的HA

背景：

​ Hadoop集群已经是一个包含了3个节点的分布式集群了。其中NameNode和ResourceManager都是运行在master节点上，一旦master节点宕机，整个Hadoop集群就无法对外提供服务。为了防止出现这种情况，我们可以在slave1上再准备一份备用的NameNode和ResourceManager。由Zookeeper监控master上NameNode和ResourceManager的状态，一旦不可以立即切换slave1的NameNode和ResourceManager进行工作。

  • 修改master节点的core-site.xml
#1 在master修改core-site.xml文件，使用ns（集群名字）替换master做为Hadoop的访问地址
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
		<!--hdfs的数据存储位置-->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>file:/usr/local/hadoop/tmp</value>
		</property>
		
		<!--hdfs的访问地址，ns是NameNode集群名字，在hdfs-site.xml文件里面配置-->
	    <property>
			<name>fs.defaultFS</name>
		    <value>hdfs://ns</value><!--改这里的名字-->
	    </property>

		<!--允许Hive中的用户操作hdfs-->
	    <property>
			<name>hadoop.proxyuser.hadoop.groups</name>
			<value>*</value>
	    </property>
        <property>
			<name>hadoop.proxyuser.hadoop.hosts</name>	
			<value>*</value>
	    </property>

	    <!--配置Zookeeper地址，JournalNode通过Zookeeper实现功能-->
	    <property>
			<name>ha.zookeeper.quorum</name>
			<value>master:2181,slave1:2181,slave2:2181</value>
	    </property>
</configuration>
  1. 将修改好的core-site.xml文件发送给slave1和slave2文件
#发送给slave1
scp /usr/local/hadoop/etc/hadoop/core-site.xml hadoop@slave1:/usr/local/hadoop/etc/hadoop/
#发送给slave1
scp /usr/local/hadoop/etc/hadoop/core-site.xml hadoop@slave2:/usr/local/hadoop/etc/hadoop/
  1. 在master修改hdfs-site.xml文件
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

		<!--设置NameNode集群的名字为ns-->
	    <property>
	    	<name>dfs.nameservices</name>
			<value>ns</value>
	    </property>
		
		<!--为ns集群中的NameNode起一个名字-->
		<property>
			<name>dfs.ha.namenodes.ns</name>
			<value>nn1,nn2</value>
		</property>
	   
		<!--分别配置每个NameNode的请求端口和监控页面端口-->
		<property>
			<name>dfs.namenode.rpc-address.ns.nn1</name>
			<value>master:9000</value>
		</property>

		<property>
			<name>dfs.namenode.http-address.ns.nn1</name>
	        <value>master:50070</value>
		</property>
      
		<property>
			<name>dfs.namenode.rpc-address.ns.nn2</name>
			<value>slave1:9000</value>
		</property>
	     
		<property>
			<name>dfs.namenode.http-address.ns.nn2</name>
			<value>slave1:50070</value>
		</property>

		<!--在哪些节点启动JournalNode进程，用于在两个NameNode之间同步fsimage和edits，通常是单数个-->
		<property>
			<name>dfs.namenode.shared.edits.dir</name>
			<value>qjournal://master:8485;slave1:8485;slave2:8485/ns</value>
		</property>
	
		<!--journalnode数据存放位置-->
		<property>
			<name>dfs.journalnode.edits.dir</name>
			<value>/usr/local/hadoop/tmp/journal</value>
		</property>

		<!--NameNode数据存放位置-->
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>file:/usr/local/hadoop/tmp/dfs/name</value>
		</property>

		<!--DataNode数据存放位置-->
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>file:/usr/local/hadoop/tmp/dfs/data</value>
		</property>

		<!--启动自动切换-->
		<property>
			<name>dfs.ha.automatic-failover.enabled</name>
			<value>true</value>
		</property>

		<!--Avtive,StandBy状态的类-->
		<property>
			<name>dfs.client.failover.proxy.provider.ns</name><!--provider不要写错-->
			<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>

		<!--启动fence软件切换-->
		<property>
			<name>dfs.ha.fencing.methods</name>
			<value>sshfence</value>
		</property>

		<!--指定fencex需要的私钥位置-->
		<property>
			<name>dfs.ha.fencing.ssh.private-key-files</name>
			<value>/home/hadoop/.ssh/id_rsa</value>
		</property>

		<!--NameNode等待JournalNode启动的超时时间 -->
		<property>
			<name>dfs.qjournal.write-txns.timeout.ms</name>
			<value>60000</value>
		</property>

</configuration>

注意理解下面每个步骤的作用

#（4）	将修改好的hdfs-site.xml文件发送给slave1和slave2文件
scp /usr/local/hadoop/etc/hadoop/hdfs-site.xml hadoop@slave1:/usr/local/hadoop/etc/hadoop/
scp /usr/local/hadoop/etc/hadoop/hdfs-site.xml hadoop@slave2:/usr/local/hadoop/etc/hadoop/

#（5）	3个节点都执行以下命令清除HDFS上存储的数据
rm -rf /usr/local/hadoop/tmp/dfs/

#（6）	3个节点都使用以下命令启动Zookeeper
#启动Zookeeper：
zkServer.sh start
#查看Zookeeper状态：
zkServer.sh status

#（7）	3个节点都使用以下命令启动JournalNode
hadoop-daemon.sh start journalnode

#（8）在master上格式化NameNode，在master使用以下命令：
#注意仅仅是master节点！！！！
hdfs namenode -format

#看到格式化成功的标志再进行后面操作!!!

#看到格式化成功的标志再进行后面操作!!!

#看到格式化成功的标志再进行后面操作!!!

在这里插入图片描述

#（9）启动master上的NameNode，在master使用以下命令：
#注意仅仅是master节点！！！！
hadoop-daemon.sh start namenode

#（10）	同步master上NameNode的数据到slave1，在slave1使用以下命令：
#换节点了，注意是slave1节点！！！！
#执行完毕后同样有和上面类似的格式化成功的信息，检查
hdfs namenode -bootstrapStandby

#（11）	关闭master上的NameNode，在master使用以下命令：
#回到master节点了！！！！
hadoop-daemon.sh stop namenode

#（12）	在master初始化Zookeeper监控工具，在master使用以下命令：
hdfs zkfc -formatZK

#（13）	安装切换NameNode状态的psmisc软件，在master和slave1使用以下命令：
sudo apt-get install psmisc

#（14）	启动hdfs验证NameNode的HA，在master使用以下命令：
start-dfs.sh

4.3 验证Hadoop的HA

#（1）	启动Zookeeper集群，在3个节点都执行以下命令：
zkServer.sh start
#（2）	启动Hadoop集群，在master节点执行以下命令：
start-dfs.sh
#（3）	查看各个节点的进程，在3个节点都执行以下命令：
jps

验证状态：

此时的状态是启动了，hdfs，Zookeeper

在这里插入图片描述

（4） 在浏览器访问HDFS的监控页面，分别输入以下地址：
http://（master的ip）:50070
http://（slave1的ip）:50070
我们可以看到现在master上的NameNode处于active状态，slave1上的NameNode处于standby状态，

在这里插入图片描述

  • 现在我们模拟master的NameNode宕机，验证是否可以切换slave1的NameNode为active状态。
  • 通过使用jps命令查询出NameNode对应的进程ID是8604，使用kill -9 8604命令杀死NameNode进程，模拟master宕机。

在这里插入图片描述

  • 等待几秒钟，然后再次访问slave1的监控页面，可以发现slave1的NameNode已经切换为active状态，接替master的NameNode为集群提供服务。

在这里插入图片描述

_woami
关注
  • 2
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop系列 (七)：ZooKeeper详细介绍
Eric Ray的博客
10-18 2894
ZooKeeper详细介绍及集群搭建
关于zookeeper和hadoop集群的关联关系
Ghjkluuu的博客
02-15 5072
zookeeper:在集群中的作用是负责管理集群中·包括（namenode,ReducerManger,的主备切换作用，以及一些分布式组件的配置信息，和状态信息，还提供发布/订阅功能其主要目的就是在zookeeper集群上通过创建znode节点记录集群中一些位置信息，状态信息的变化，然后通过zookeeper的watcher机制把变化的节点中的内容通知到客户端，然后客户端从hadoop集群上下载内容），和负责监控集群的nameNode的状态。 主备切换：简单点就是说假如存在两个nameNode，一个nam
大数据技术之Hadoop(五)——Zookeeper
weixin_63507910的博客
01-09 1090
Zookeeper的安装与认识
Zookeeper与Hadoop集成的实现
禅与计算机程序设计艺术
01-21 790
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Hadoop 是两个非常重要的开源项目，它们在分布式系统中扮演着关键的角色。Zookeeper 是一个高性能的分布式协调服务，用于构建分布式应用程序。Hadoop 是一个分布式文件系统和分布式计算框架，用于处理大量数据。在分布式系统中，Zookeeper 和 Hadoop 之间存在紧密的联系，它们可以相互完善，提高系统的可靠性...
Zookeeper与Hadoop集成与应用
禅与计算机程序设计艺术
01-28 764
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Hadoop 是分布式系统中两个非常重要的组件。Zookeeper 提供了一种高效的分布式协同服务，用于解决分布式系统中的一些复杂问题，如集群管理、配置管理、同步服务等。而 Hadoop 则是一个基于 Hadoop Distributed File System (HDFS) 的分布式存储和分布式计算框架，用于处理大量数据。 ...
Zookeeper与Hadoop的集成
禅与计算机程序设计艺术
01-21 1004
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Hadoop 是分布式系统中两个非常重要的组件。Zookeeper 是一个开源的分布式应用程序，它提供了一种可靠的、高效的、分布式协同服务。Hadoop 是一个开源的分布式文件系统和分布式计算框架，它可以处理大量数据并提供高性能的数据处理能力。 在分布式系统中，Zookeeper 和 Hadoop 之间存在着紧密的联系。Zo...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细介绍，感兴趣的一起看看吧
08-Hadoop之Zookeeper详解
夏夜的博客
10-21 2486
Zookeeper入门 一、 zookeeper 概述 1.1 概述 zookeeper 是一个开源的分布式协调系统，为分布式应用提供协调服务的Apache项目。 工作机制： 从设计角度：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookeeper上个注册的那些观察者做出相应的反应。 设计目标： 将那些复杂且容易出错的分布式服务封装起来，构成一个高效可靠的分布式服务框架，并
zookeeper及hadoop高可用
JReno的博客
07-01 656
Zookeeper Zookeeper是什么 Zookeeper是什么 Zookeeper是一个开源的分布式应用程序协调服务 Zookeeper能做什么 Zookeeper是用来保证数据在集群间的事务一致性 Zookeeper应用场景 集群分布式锁 集群统一命名服务 分布式协调服务 角色与特性 Zookeeper角色与特性 Leader:接受所有Follower的提案请求并统一协调发...
hadoop+Zookeeper=HA(超级详细)
互联网知识分享
05-12 711
集群模式下配置一个文件myid，这个文件在dataDir=/softWare/zookeeper-3.4.10/zkData目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。（1）如果”主节点-A”挂了，这时候它所注册的节点”master-00001″将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，这时候”主节点-B”将在选举中获胜，替代”主节点-A”成为新的主节点。
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1197
Hadoop 搭建高可用集群--zookeeper
hadoop+hbase+zookeeper集群配置流程及文件
08-28
hadoop集群配置流程以及用到的配置文件，hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
hadoop+zookeeper集群整合
04-24
hadoop+zookeeper集群整合，后续会有更多的大数据部署相关资料。
Linux下Zookeeper集群的安装
08-30
Linux下Zookeeper集群的安装
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...
WPF2 样式布局
weixin_43847546的博客
04-22 483
WPF中的各类控件元素, 都可以自由的设置其样式。诸如:字体(FontFamily)字体大小(FontSize)背景颜色(Background)字体颜色(Foreground)边距(Margin)水平位置(HorizontalAlignment)垂直位置(VerticalAlignment) 等等。而样式则是组织和重用以上的重要工具。不是使用重复的标记填充XAML, 通过Styles创建一系列封装所有这些细节的样式。然后通过Style属性应用封装好的样式。这点类似于CSS样式。
【Hadoop】-HDFS的Shell操作[3]
weixin_63106307的博客
04-19 1252
Hadoop Distributed File System (HDFS) 是一个分布式文件系统，用于存储和处理大规模数据集。HDFS具有高可扩展性、高容错性和高吞吐量的特点，是Apache Hadoop框架的核心组件之一。HDFS提供了一个命令行界面（Shell），用于管理和操作文件系统中的文件和目录。使用HDFS的Shell，用户可以执行各种文件系统操作，如创建目录、上传文件、下载文件、删除文件等。HDFS的Shell操作类似于Linux的命令行操作，用户可以使用一系列命令来完成各种操作。
【Hadoop】-Apache Hive概述 & Hive架构[11]
最新发布
weixin_63106307的博客
04-22 555
对数据进行统计分析，SQL是目前最为方便的编程工具。大数据体系中充斥着非常多的统计分析场景所以，使用SQL去处理数据，在大数据中也是有极大的需求的。但我们hadoop里边的MapReduce支持程序开发（Java、python），但不支持SQL开发。如果有一个什么办法，让我们大数据体系内支持SQL的话，这样就好办了。那怎么样支持呢？这就是我们的了。Apache Hive是一款分布式SQL计算的工具，其主要功能是：将SQL语句翻译成MapReduce程序运行。
Kafka - Kafka 为啥抛弃 Zookeeper？
牧码的博客
04-22 1195
Kafka - Kafka 为啥抛弃 Zookeeper？
docker部署zookeeper集群和hadoop集群需要几个容器
08-29
部署Zookeeper集群和Hadoop集群需要的容器数量取决于具体的集群规模和架构设计。一般而言，分布式系统的部署需要保证高可用性和容错性。 对于Zookeeper集群，至少需要3个容器来保证Quorum的正常运行。Zookeeper是一个协调服务，通过多个节点构成集群来提供高可用性和容错能力。由于Zookeeper使用了Paxos算法，需要保证大多数节点能够正常工作。通常情况下，最小可行的Zookeeper集群规模是3个节点，也就是至少需要3个容器。 对于Hadoop集群，需要考虑到不同组件的安装和配置。Hadoop包含了多个关键组件，如HDFS、YARN、MapReduce等。一般情况下，至少需要一个Master节点和一个或多个Slave节点。Master节点负责管理整个集群的操作，而Slave节点负责存储和处理数据。 具体容器数量还要根据需求进行调整。如果需要更高的可用性和容错能力，可以增加Master节点的数量，如使用Hadoop的High Availability配置（HDFS HA、YARN HA）。同时，如果集群规模较大，可以增加Slave节点的数量来提高整体性能和处理能力。 因此，总的来说，部署Zookeeper集群和Hadoop集群一般至少需要3个容器来构建Zookeeper集群，而Hadoop集群需要至少一个Master节点和一个或多个Slave节点。具体的容器数量还需要根据实际需求和规模进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值