Zookeeper简介及安装，以及Hadoop的HA集群(hdfs的namenode和yarn的resourcemanager)配置

最新推荐文章于 2023-11-14 22:58:33 发布

hailunw

最新推荐文章于 2023-11-14 22:58:33 发布

阅读量459

点赞数

分类专栏： # 分布式理论 # 大数据存储文章标签：大数据 zookeeper 分布式 java hadoop

本文链接：https://blog.csdn.net/hailunw/article/details/117910952

版权

本文介绍了Zookeeper作为分布式协调服务的基本概念，包括其提供的统一命名、配置和集群管理等服务。详细阐述了Zookeeper在集群模式下的安装步骤，包括配置文件设置、节点间同步以及启动和状态检查。同时，文章还展示了如何配置Hadoop的HA集群，针对hdfs的namenode和yarn的resourcemanager进行设置，确保高可用性。

摘要由CSDN通过智能技术生成

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。通常它被用来提供以下服务。

统一命名服务
统一配置服务
统一集群管理
服务器节点动态上下线
软复杂均衡

Zookeeper的安装可以分为本地模式，集群模式以及集群模式。

下面做集群模式的安装步骤。

1）在Master node 下载ZK安装包，解压缩并修改Linux用户profile为zookeeper设置HOME目录。

2）在Master node，位置zookeeper设置配置文件。

cp /home/user/apache_zookper/cong/
cp zoo_sample.cfg zoo.cfg

echo 1 >/home/user/apache-zookeeper/tmp/myid
cat  /home/user/apache-zookeeper/tmp/myid

3) 将配置好的zookeeper目录同步到Slave1服务器和Slave2服务器。

scp -r /home/user/apache-zookeeper user@192.168.1.88:/home/user/apache-zookeeper 
scp -r /home/user/apache-zookeeper user@192.168.1.99:/home/user/apache-zookeeper

4）在Slave1服务器，将/home/user/apache-zookeeper/tmp/myid的内容修改为2，在Slave2服务器将/home/user/apache-zookeeper/tmp/myid的内容修改为3。

5）从Master,Slave1 和 Slave2 服务器启动zookeeper，全部启动后并查看状态。