hadoop2.7.5+zookeeper3.4.8 HA高可用集群搭建

最新推荐文章于 2024-07-12 10:11:46 发布
最新推荐文章于 2024-07-12 10:11:46 发布
阅读量629 收藏 4
点赞数
分类专栏： hadoop 文章标签： hadoop 高可用 集群搭建 zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ASN_forever/article/details/82178896
版权

环境介绍

系统：CentOS-7-x86_64-DVD-1611.iso 最小化安装

hadoop版本：2.7.5

zookeeper版本：3.4.8

集群介绍

两台namenode

三台datanode

主机名ip地址安装的软件jps进程
master192.168.89.128Jdk/hadoop/zookeeper

Namenode/zkfc/resourcemanager/

JobHistoryServer/JournalNode/quorumPeerMain

master1192.168.89.129Jdk/hadoop/zookeeper

Namenode/zkfc/resourcemanager/

JobHistoryServer/JournalNode/quorumPeerMain

slave1192.168.89.130Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

slave2192.168.89.131Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

slave3192.168.89.132Jkd/hadoop/zookeeper

Datanode/journalnode/nodemanager/

quorumPeerMain

 

 

 

 

 

 

 

 

集群搭建

由于原来搭建的非HA集群只有master、slave1和slave2三台机器，因此需要克隆一台master和一台slave。

原来的非HA集群搭建博文连接：https://blog.csdn.net/ASN_forever/article/details/80701003

 

克隆slave和master

①修改主机名

克隆slave1得到slave3，首先需要修改主机名，将slave1修改成slave3

②修改ip和mac地址

克隆后的机器是ping不了的，无法上网。首先查看一下ip如下

可以看到没有分配ip地址，但是因为每个主机都有唯一的mac地址，因此可以看到这里的mac地址与slave1的不同。

接下来查看ifcfg-ens33文件如下

可以看到克隆的机器的网络配置文件ifcfg-ens33与被克隆的一样，这样的话首先ip地址会冲突，其次mac地址也不对应。因此为了避免网络冲突，需要重新分配一个ip地址，并修改mac地址。

修改之后重启网络服务，发现启动成功，并且ping百度也能够ping通了

 

添加DataNode

①修改hosts文件

为了实现集群各节点之间的SSH无密码登录，首先应该配置hosts文件，使节点之间能够互相ping通。在hosts文件中添加上slave3及对应的ip，并在集群其他节点做同样的修改。

②生成密钥并修改authorized_keys文件

因为克隆过来的密钥文件是slave1的，因此需要使用命令ssh-keygen -t rsa重新生成密钥，除了标红的地方输入y外，其它一路回车即可

 

可以看到生成的密钥被保存在id_rsa.pub文件中了，因此需要将其内容复制到authorized_keys文件中。并将此密钥添加到集群其他节点的authorized_keys中。

此时通过ssh 主机名进行无密码登录其他节点时，可能会出现权限过大需要输入密码的问题。

解决办法是将id_rsa文件的权限降低到0600，命令为chmod 0600 /root/.ssh/id_rsa

③修改slaves文件

因为是直接克隆过来的，所有jdk，hadoop等文件也都拷贝过来了。只是需要修改涉及到slave3的地方，这里先修改slaves文件。添加上slave3即可，集群上的每台机器都需要修改。

④启动hadoop集群

启动集群可以看到slave3的NodeManager和DataNode进程被顺利启动，说明节点添加成功

但是此时在50070页面发现只有两个DataNode节点，并且刷新后还可能会变。这是因为克隆的原因，导致slave3的datanodeUuid与slave1的相同，因此集群认为它们是同一个DataNode，所以会随机启动一个。具体解决方法点击这里。

 

添加NameNode节点

类似于DataNode节点的添加步骤，添加namenode时要克隆master。然后修改ip,mac,hosts,slaves。

 

配置zookeeper

①修改zoo.cfg

在slave1节点上修改zoo.cfg文件，添加slave3的信息如下。其中2888是leader和follower之间的通信端口，3888是集群投票的端口。 

修改zookeeper的日志输出路径

修改zookeeper的日志配置文件

②修改myid文件

修改master、master1、slave1、2、3节点的/root/hadoop/zookeeper/data目录下的myid文件，将其内容依次改为1、2、3、4、5。并将slave1中配置好的zookeeper安装包scp到其他节点。

③启动zookeeper查看状态

完成上述配置后，就可以在所有slave节点上启动zookeeper服务，并查看状态了。

（需要关闭防火墙，否则启动时会报没有到主机的路由之类的错误）

systemctl disable firewalld.service

 

配置hadoop

hadoop的一些配置，如环境变量之类的已经在非HA集群中配置好了，因此在将非HA变为HA时，只需要修改一下core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml即可。

在一台机器上进行配置后，用scp传输到集群其他节点（如果接收scp的节点已经有hadoop文件，需要先删除再传输，否则可能会无法覆盖？还不是很确定）

我选择在master节点上配置hadoop

配置core-site.xml

配置hdfs-site.xml

<configuration>
  <!-- 指定hdfs元数据存储的路径 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/hadoop/dfs/name</value>
  </property>
 
  <!-- 指定hdfs数据存储的路径 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/hadoop/dfs/data</value>
  </property>
  
  <!-- 数据备份的个数 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
 
  <!-- 关闭权限验证 -->
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  
  <!-- 开启WebHDFS功能（基于REST的接口服务） -->
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
  
  <!-- //以下为HDFS HA的配置// -->
  <!-- 指定hdfs的nameservices名称为mycluster -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>
 
  <!-- 指定mycluster的两个namenode的名称分别为nn1,nn2 -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
 
  <!-- 配置nn1,nn2的rpc通信端口 -->
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>master:9000</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>master1:9000</value>
  </property>
 
  <!-- 配置nn1,nn2的http通信端口 -->
  <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>master:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>master1:50070</value>
  </property>
 
  <!-- 指定namenode元数据存储在journalnode中的路径 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master:8485;master1:8485;slave1:8485;slave2:8485;slave3:8485/ns1</value>
  </property>
  
  <!-- 指定journalnode日志文件存储的路径 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/hadoop-2.7.5/data/journal</value>
  </property>
 
  <!-- 指定HDFS客户端连接active namenode的java类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
 
  <!-- 配置隔离机制为ssh -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
 
  <!-- 指定秘钥的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  
  <!-- 开启自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!-- 指定jobhistory server的rpc地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>

<!-- 指定jobhistory server的http地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>

<!-- 开启uber模式（针对小作业的优化） -->
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>

<!-- 配置启动uber模式的最大map数 -->
  <property>
    <name>mapreduce.job.ubertask.maxmaps</name>
    <value>9</value>
  </property>
 
  <!-- 配置启动uber模式的最大reduce数 -->
  <property>
    <name>mapreduce.job.ubertask.maxreduces</name>
    <value>3</value>
  </property>
</configuration>

配置yarn-site.xm 

<configuration>

<!-- RM启用HA -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!-- 指定RM的cluster id -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
  </property>

  <!-- 使用了2个resourcemanager,分别指定Resourcemanager的地址 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <!-- 指定rm1的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master</value>
  </property>

  <!-- 指定rm2的地址  -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>master1</value>
  </property>

  <!-- 指定当前机器master作为rm1 
  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>
  </property>
  -->
<!-- 配置YARN的http端口 -->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>master:8088</value>
  </property>	
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>master1:8088</value>
  </property>


  <!-- 指定zookeeper集群机器 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,master1:2181,slave1:2181,slave2:2181,slave3:2181</value>
  </property>

  <!-- NodeManager上运行的附属服务,需配置成mapreduce_shuffle才可运行MapReduce程序 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->
  <property>
    <name>yarn.web-proxy.address</name>
    <value>master1:8888</value>
  </property>

<!-- 开启yarn resourcemanager restart -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
 
  <!-- 配置resourcemanager的状态存储到zookeeper中 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
 
  <!-- 开启yarn nodemanager restart -->
  <property>
    <name>yarn.nodemanager.recovery.enabled</name>
    <value>true</value>
  </property>
 
  <!-- 配置nodemanager IPC的通信端口 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>



<!-- 启用自动故障转移 -->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置完成后将hadoop安装包scp到集群其他节点的相应目录

 

安装psmisc

因为centos采取的是最小化安装，因此没有fuser命令，而配置的fence方法需要用到fuser，因此在两个namenode节点上需要手动安装。（如果不安装，就会出现同时存在两个standby等不能正常进行主备切换的现象）

如果没有fuser命令，再主备切换时会失败。standby节点的zkfc日志会报如下错误：

2020-11-04 07:45:49,556 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Looking for process running on port 9000
2020-11-04 07:45:49,962 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: 未找到命令
2020-11-04 07:45:49,963 INFO org.apache.hadoop.ha.SshFenceByTcpPort: rc: 127
2020-11-04 07:45:49,963 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Disconnecting from master port 22
2020-11-04 07:45:49,968 WARN org.apache.hadoop.ha.NodeFencer: Fencing method org.apache.hadoop.ha.SshFenceByTcpPort(null) was unsuccessful.
2020-11-04 07:45:49,968 ERROR org.apache.hadoop.ha.NodeFencer: Unable to fence service by any configured method.
2020-11-04 07:45:49,969 WARN org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election
java.lang.RuntimeException: Unable to fence NameNode at master/192.168.89.128:9000
        at org.apache.hadoop.ha.ZKFailoverController.doFence(ZKFailoverController.java:538)
        at org.apache.hadoop.ha.ZKFailoverController.fenceOldActive(ZKFailoverController.java:510)
        at org.apache.hadoop.ha.ZKFailoverController.access$1100(ZKFailoverController.java:60)

启动集群

1. 启动 ZooKeeper 集群 
在集群中安装 ZooKeeper 的主机上启动 ZooKeeper 服务。此集群全部安装了zookeeper，因此需要全部执行一遍以下命令。

zkServer.sh start
  •  

2. 格式化 ZooKeeper 集群 
在任意的 namenode 上都可以执行，笔者选择了 master主机执行格式化命令

hdfs zkfc -formatZK
  •  

3. 启动 JournalNode 集群 
在集群所有节点上执行以下命令

hadoop-daemon.sh start journalnode

//3.0版本的命令
//hdfs --daemon start journalnode
  •  

4. 格式化集群的 NameNode

在 master的主机上执行以下命令，以格式化 namenode：

hdfs namenode -format

这里很有可能会报错，尤其是之前如果格式化失败了，再次格式化的时候，需要保证之前格式化时创建的目录和文件已经删除干净。比如下面的报错：

Cannot lock storage /xxx. The directory is already locked.

这个报错就是上一次格式化失败了，但hadoop在/tmp下已经创建了一些文件，并锁住了，导致再次格式化时失败。解决办法就是删除/tmp下hadoop创建的文件。（有一些pid默认也是创建在这里，可以不删） 

5. 启动刚格式化的 NameNode 
刚在 master上格式化了 namenode ，故就在 master上执行

hadoop-daemon.sh start namenode

//3.0版本的命令
//hdfs --daemon start namenode
  •  

6. 同步 NameNode1 元数据到 NameNode2 上 
复制你 NameNode 上的元数据目录到另一个 NameNode，也就是此处的 master 复制元数据到 master1上。在 master1上执行以下命令：

hdfs namenode -bootstrapStandby
  •  

7. 启动 NameNode2 
master1主机拷贝了元数据之后，就接着启动 namenode 进程了，执行

hadoop-daemon.sh start namenode

//3.0版本的命令
//hdfs --daemon start namenode
  •  

8. 启动集群中所有的DataNode

在 master上执行

hadoop-daemons.sh start datanode

//3.0版本的命令
//hdfs --daemon start datanode
  •  

9. 在 RM1 启动 YARN

在 master 的主机上执行以下命令：

start-yarn.sh
  •  

10. 在 RM2 单独启动 YARN

虽然上一步启动了 YARN ，但是在 master1上是没有相应的 ResourceManager 进程，故需要在 master1主机上单独启动：

yarn-daemon.sh start resourcemanager
  •  

11. 启动 ZKFC

在 master和 master1 的主机上分别执行如下命令(这个进程是负责监测namenode状态进行重新选举的，因此两个namenode必须启动这个进程)：

hadoop-daemon.sh start zkfc

//3.0版本的命令
//hdfs --daemon start zkfc
  •  

12. 开启历史日志服务

在 master1和 master1的主机上执行

mr-jobhistory-daemon.sh   start historyserver

 至此，初次启动完成，更多情况的启动顺序可参考这篇博文https://blog.csdn.net/u011414200/article/details/50437356

 

HA测试

为了能够直接在windows本地的浏览器中通过集群的节点名进行访问，需要配置hosts文件。

找到hosts文件后，添加如下内容

 在浏览器中分别输入http://master:50070和http://master1:50070

 

发现master是active，master1是standby。那么手动kill掉master的namenode进程，重新查看master1是否变为active。发现几秒内即变为了active。

再通过命令hadoop-daemon.sh start namenode重新启动master的namenode，发现其状态变为standby。这说明hdfs的高可用基本实现。

 

参考文章：https://blog.csdn.net/carl810224/article/details/52160418#commentsedit

                  https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/

ASN_forever
关注
专栏目录
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
08-Hadoop之Zookeeper详解
夏夜的博客
10-21 2612
Zookeeper入门 一、 zookeeper 概述 1.1 概述 zookeeper 是一个开源的分布式协调系统，为分布式应用提供协调服务的Apache项目。 工作机制： 从设计角度：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookeeper上个注册的那些观察者做出相应的反应。 设计目标： 将那些复杂且容易出错的分布式服务封装起来，构成一个高效可靠的分布式服务框架，并
大数据技术之Hadoop(五)——Zookeeper
weixin_63507910的博客
01-09 2023
Zookeeper的安装与认识
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
最新发布
永远好奇，无限进步！
07-12 3371
上节完成了SqoopCDC差量数据迁移，从MySQL->Hive。本节开始ZooKeeper。它是一个分布式协调服务的开源框架。主要用于解决分布式集群中应用系统的一致性问题，例如怎么避免同时操作同一数据造成脏数据的问题。分布式系统中数据存在一致性的问题！.每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123
大数据学习笔记-Yarn（二）
zhang_232的专栏
02-19 602
本文主要学习了Yarn WebUI服务、YARN操作维护命令、YARN资源管理与隔离、YARN资源调度器Scheduler、YARN核心配置参数等内容
Hadoop系列 (七)：ZooKeeper详细介绍
Eric Ray的博客
10-18 3349
ZooKeeper详细介绍及集群搭建
hadoop+Zookeeper=HA(超级详细)
互联网知识分享
05-12 993
集群模式下配置一个文件myid，这个文件在dataDir=/softWare/zookeeper-3.4.10/zkData目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。（1）如果”主节点-A”挂了，这时候它所注册的节点”master-00001″将被自动删除，ZooKeeper会自动感知节点的变化，然后再次发出选举，这时候”主节点-B”将在选举中获胜，替代”主节点-A”成为新的主节点。
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
集群配置完成后，通常还需要进行一些验证操作，如检查Hadoop的`dfs健康报告`、HBase的`master状态`以及Zookeeper的`集群状态`。同时，定期进行维护，如监控日志、性能调优和故障排查，是保持集群稳定运行的关键。 ...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
05-22
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建 Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建是大数据处理和存储的重要组件，本文档将指导用户从零开始搭建一个完整的Hadoop2.2+Zookeeper3.4.5+HBase0.96集群...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1333
Hadoop 搭建高可用集群--zookeeper
最细教学！！ 分布式文件系统：Hadoop之Zookeeper的安装与配置
weixin_49104143的博客
07-17 1363
分布式文件系统：Hadoop之Zookeeper的安装与配置 “echo $PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。将Zookeeper目录和.bash_profile文件发送给集群中所有主机然后每台执行source ~/.bash_profile使环境变量生效。进入Zookeeper相关文件的目录，分别创建用于存放数据文件的目录data和存放日志文件的logs目录。使新的配置的环境变量立即生效。配置Zookeeper相关的环境变量。关闭所有主机的防火墙。
在yarn的web原生界面上，点击ApplicationMaster无法看到SparkWebUi界面的问题解决
爱折腾的小土豆的博客
07-02 589
Yarn web proxy是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了缓解RM访问请求压力，也可以减少通过YARN进行基于网络的攻击的可能性。
hadoop和zookeeper的安装与配置
G_GUi的博客
10-02 3834
hadoop和zookeeper的安装与配置 1. 安装好linux虚拟机、Xshell、Xftp 2. 解压安装jdk、hadoop、zookeeper的压缩包 3. 配置linux主机设置与环境 4. 编写并添加hadoop的配置 5. 编写zookeeper的配置 6. 克隆机器（奇数） 7. 启动集群 ...
黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令
weixin_45735391的博客
07-30 4267
MapReduce配置和YARN部署以及基本命令
【Hadoop大数据技术】——ZooKeeper分布式协调服务（学习笔记）
HinsCoder的博客
03-21 1039
ZooKeeper是一个开源的分布式协调服务，它是Google Chubby的开源实现，其设计目标是将那些复杂且容易出错的分布式应用封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
Hadoop之Zookeeper
Matrix70的博客
06-16 240
1n + 1 (奇数 台zookeeper)端口号181：对client端提供服务3888：选举leader使用1888：集群内机器通讯使用（Leader监听此端口）
Hadoop中的ZooKeeper是什么？请解释其作用和用途。
jakelihua
09-11 899
ZooKeeper的作用和用途在这里得到了解释，它提供了一个可靠、高性能的分布式协调系统，用于管理和协调分布式应用程序的配置信息、命名服务、分布式锁和分布式协调等。在构造函数中，我们创建了一个ZooKeeper对象，并指定了ZooKeeper集群的地址和会话超时时间。ZooKeeper是Hadoop生态系统中的一个分布式协调服务，用于管理和协调分布式应用程序的配置信息、命名服务、分布式锁和分布式协调等。分布式协调：ZooKeeper提供了一些原语，如条件变量、屏障等，用于实现分布式系统中的协调和同步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值