Zookeeper集群搭建详细步骤

已于 2024-05-03 18:59:37 修改
阅读量1.4k 收藏 17
点赞数 23
分类专栏： # 2）ZooKeeper 文章标签： zookeeper linux 后端
于 2024-05-03 16:48:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wlkuym/article/details/138419178
版权

Zookeeper集群搭建

1.1 搭建要求

真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。

我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。

1.2 准备工作

需要一台Linux虚拟机作为搭建集群的测试服务器。

（1）Zookeeper压缩包上传到服务器

前面已经写过Zookeeper详细安装步骤，这里就不在写了

（2）将Zookeeper解压 ，

建立/usr/local/zookeeper-cluster目录，将解压后的Zookeeper复制到以下三个目录
/usr/local/zookeeper-cluster/zookeeper-1
/usr/local/zookeeper-cluster/zookeeper-2
/usr/local/zookeeper-cluster/zookeeper-3

# 创建集群目录zookeeper-cluster
[root@rhel ~]# mkdir /usr/local/zookeeper-cluster

[root@rhel local]# cp -r apache-zookeeper-3.6.4-bin /usr/local/zookeeper-cluster/zookeeper-1
[root@rhel local]# cp -r apache-zookeeper-3.6.4-bin /usr/local/zookeeper-cluster/zookeeper-2
[root@rhel local]# cp -r apache-zookeeper-3.6.4-bin /usr/local/zookeeper-cluster/zookeeper-3

（3）创建data目录 ，并且将 conf下zoo_sample.cfg 文件改名为 zoo.cfg

mkdir /usr/local/zookeeper-cluster/zookeeper-1/data
mkdir /usr/local/zookeeper-cluster/zookeeper-2/data
mkdir /usr/local/zookeeper-cluster/zookeeper-3/data

mv  /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo_sample.cfg  /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
mv  /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo_sample.cfg  /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
mv  /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo_sample.cfg  /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg

（4） 配置每一个Zookeeper 的dataDir 和 clientPort 分别为2181 2182 2183

vim /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
#修改/usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
[root@rhel zookeeper-cluster]# vim zookeeper-1/conf/zoo.cfg 

clientPort=2181
dataDir=/usr/local/zookeeper-cluster/zookeeper-1/data

#修改/usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
[root@rhel zookeeper-cluster]# vim zookeeper-2/conf/zoo.cfg 

clientPort=2182
dataDir=/usr/local/zookeeper-cluster/zookeeper-2/data

#修改/usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg
[root@rhel zookeeper-cluster]# vim zookeeper-3/conf/zoo.cfg 

clientPort=2183
dataDir=/usr/local/zookeeper-cluster/zookeeper-3/data

1.3 配置集群

（1）在每个zookeeper的 data 目录下创建一个 myid 文件，内容分别是1、2、3 。这个文件就是记录每个服务器的ID

echo 1 >/usr/local/zookeeper-cluster/zookeeper-1/data/myid
echo 2 >/usr/local/zookeeper-cluster/zookeeper-2/data/myid
echo 3 >/usr/local/zookeeper-cluster/zookeeper-3/data/myid

（2）在每一个zookeeper 的 zoo.cfg配置客户端访问端口（clientPort）和集群服务器IP列表。

集群服务器IP列表如下：

vim /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
vim /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
vim /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg

server.1=192.168.45.88:2881:3881
server.2=192.168.45.88:2882:3882
server.3=192.168.45.88:2883:3883

#解释：server.服务器ID=服务器IP地址：服务器之间通信端口：服务器之间投票选举端口

1.4 启动集群

启动集群就是分别启动每个实例。

/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
/usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start

# 启动效果如下：
[root@rhel zookeeper-cluster]# /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@rhel zookeeper-cluster]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@rhel zookeeper-cluster]# /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-3/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

启动后我们查询一下每个实例的运行状态

/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
/usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status

#测试效果
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-3/bin/../conf/zoo.cfg
Client port found: 2183. Client address: localhost. Client SSL: false.
Mode: follower
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost. Client SSL: false.
Mode: leader
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

1.5 模拟集群异常

（1）首先我们先测试如果是从服务器挂掉，会怎么样

把3号服务器停掉，观察1号和2号，发现状态并没有变化

/usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh stop

/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status

#测试效果
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-3/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost. Client SSL: false.
Mode: leader

由此得出结论，3个节点的集群，从服务器挂掉，集群正常

（2）我们再把1号服务器（从服务器）也停掉，查看2号（主服务器）的状态，发现已经停止运行了。

/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh stop
/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status

#测试效果
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-1/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.

由此得出结论，3个节点的集群，2个从服务器都挂掉，主服务器也无法运行。因为可运行的机器没有超过集群总数量的半数。

（3）我们再次把1号服务器启动起来，发现2号服务器又开始正常工作了。而且依然是领导者。

/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status

#测试效果
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost. Client SSL: false.
Mode: leader

（4）我们把3号服务器也启动起来，把2号服务器停掉,停掉后观察1号和3号的状态。

/usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh stop

/usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
/usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status

#测试效果
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-3/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-3/bin/../conf/zoo.cfg
Client port found: 2183. Client address: localhost. Client SSL: false.
Mode: leader

发现新的leader产生了~

由此我们得出结论，当集群中的主服务器挂了，集群中的其他服务器会自动进行选举状态，然后产生新得leader

（5）我们再次测试，当我们把2号服务器重新启动起来启动后，会发生什么？2号服务器会再次成为新的领导吗？我们看结果

/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start

/usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
/usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status

#测试效果
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost. Client SSL: false.
Mode: follower
[root@rhel ~]# /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper-3/bin/../conf/zoo.cfg
Client port found: 2183. Client address: localhost. Client SSL: false.
Mode: leader

我们会发现，2号服务器启动后依然是跟随者（从服务器），3号服务器依然是领导者（主服务器），没有撼动3号服务器的领导地位。

由此我们得出结论，当领导者产生后，再次有新服务器加入集群，不会影响到现任领导者。

小结

zookeeper的安装和集群搭建，不复杂，但是需要上手实际操作，集群搭建时容易出错，这里需要注意，不操作可能不知道，主要是遇到问题，分析问题，是什么？为什么？从哪里入手？怎么改？下次怎么避免？

zookeeper集群配置
jikuibu
06-03 1万+
在集群环境下配置zookeeper， 先准备三台linux服务器，记住ip地址。1： 官网下载zookeeper，可百度。2： 解压，放至其中一台linux服务器某个目录下。如图：注意： 是以root用户放进来的，现在想将权限赋给hadoop用户，注意一下操作。3：将此目录赋权限给hadoop用户。4：建立配置文件，进入conf目录，新建立一个zoo.cfg文件，文件内容如下：tickTime=2...
zookeeper集群搭建-详细步骤
qq_43078445的博客
03-11 356
一：下载安装包： apache-zookeeper-3.6.2-bin.百度网盘 链接：https://pan.baidu.com/s/1Z9nE4Y6vr6XR73SArKAflw 提取码：0egb 复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V4的分享 1:我在/opt创建module/zookeeper/目录 2：解压到module/zookeeper/目录下 tar -zxvf apache-zookeeper-3.6.2-bin.tar 再修改为 mv apac
ZooKeeper是什么
热门推荐
李平安
07-13 3万+
一. ZooKeeper是什么 ZooKeeper由雅虎研究院开发，是Google Chubby的开源实现，后来托管到Apache，于2010年11月正式成为Apache的顶级项目。 ZooKeeper是一个经典的分布式数据一致性解决方案，致力于为分布式应用提供一个高性能、高可用，且具有严格顺序访问控制能力的分布式协调服务。 分布式应用程序可以基于ZooKeeper实现数据发...
【zookeeper安装】zookeeper安装详细教程（单机/集群部署）（linux版）
最新发布
QDNBD的博客
09-18 1957
本文章主要介绍在Centos系统，虚拟机上安装zookeeper用来单机部署或集群部署，可为大数据组件或ambari管理中使用。教程安装的是Zookeeper3.4.6版本，安装其他版本的也可以参考该文档。
05-zookeeper的集群搭建
拒绝熬夜啊的博客
02-22 671
搭建Zookeeper集群 1.1 搭建要求 真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。 我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。 1.2 准备工作 重新部署一台虚拟机作为我们搭建集群的测试服务器。 （1）安装JDK 【此步骤省略】。 （2）Zookeeper压缩包上传到服务器 （3）将Zookeeper解压 ，建立/usr/software/zooke
配置zookeeper集群
aoliangzhen4700的博客
08-07 178
创建3台服务，不同ip，相同端口 1.先安装jdk1.8 解压： 　　 tar -zxvf jdk-8u11-linux-x64.tar.gz 　　 重新命名文件夹名字： mv jdk1.8.0_11/ jdk8 配置系统环境变量： vim /etc/profile # java export JAVA_HOME=/usr/jdk8 ex...
zookeeper集群的安装
weixin_34087503的博客
03-21 224
　　顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr的分布式集群都用到了zookeeper；Zookeeper:是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目。 　　一、zookeeper主要功能如下： 　　1、配置管理 　　在我们的应用中除了代码...
Zookeeper集群部署
王大雏的博客
07-20 723
Zookeeper集群+Fafka集群前言一、Zookeeper概述1、Zookeeper定义2、Zookeeper工作机制3、Zookeeper特点4、Zookeeper数据结构5、Zookeeper 应用场景6、Zookeeper选举机制第一次启动选举机制非第一次启动选举机制二、部署Zookeeper集群准备3台服务器做Zookeeper 集群1.安装前准备2.安装Zookeeper 前言 一、Zookeeper概述 1、Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提
zookeeper集群搭建（详细步骤）
SQG_L的博客
11-11 2万+
zookeeper集群搭建 一、集群规划 安装三台虚拟机，IP地址、主机名设置如下 IP 主机名 软件 192.168.1.66 SQG JDK\zookeeper 192.168.1.2 hadoop1 JDK\zookeeper 192.168.1.3 hadoop2 JDK\zookeeper 二、环境准备（以下是三台虚拟机都需操作） 1、 关闭防火墙 [root@localhost ~]# systemctl stop firewalld //停止firewalld
Zookeeper集群搭建详细文档
10-18
详细介绍了Zookerper注册中心集群搭建的准备工作以及搭建的详细步骤，并且模拟了集群的一些常见异常，可以使学习Zookeeper的同志们通过阅读本篇文档，能够快速上手对Zookeeper的搭建使用
Zookeeper集群搭建.doc
12-15
以下是一份详细的Zookeeper集群搭建步骤： 1. **环境准备**： - **JDK安装**：首先确保所有参与集群的机器都安装了Java Development Kit（JDK），因为Zookeeper依赖Java运行环境。推荐安装最新稳定版JDK，并将其...
zookeeper集群搭建超详细教程
m0_64264849的博客
11-19 1812
1.搭建Zookeeper分布式集群环境，使用三台虚拟机。 ①上传zookeeper的软件包到家目录下，利用tar解压 ②为zookeeper-3.4.6软件包重命名 ③进入/etc/profile.d，对hadoop.sh进行环境变量的添加，wq保存退出后，cat可以查看配置文件的内容，source执行环境变量，为后期启动zookeeper做准备
Zookeeper集群搭建
爱璇子爱生活
05-18 1481
Zookeeper集群搭建 下载安装 配置 1zoocof文件配置 2zkEnvsh文件配置 分发到其他节点并创建myid文件 启动测试 总结 Zookeeper集群搭建我们下面的操作，都在hadoop用户下进行，也要保证安装目录所属和权限开放（依然是chown命令和chmod命令，参照Hadoop全分布集群搭建（3）——Hadoop安装与配置）。节点情况在Hadoop全分布集群搭建（1）——设置主
搭建zookeeper高可用集群详细步骤
雷神乐乐的博客
02-15 1650
搭建zookeeper高可用集群，为搭建Hadoop集群做准备
Zookeeper环境的搭建与配置
solo_jm的博客
12-26 230
解压Zookeeper压缩包 重命名配置文件 将/conf目录下的zoo_sample.cfg复制重命名为zoo.cfg 修改zoo.cfg文件 启动zookeeper服务器 bin目录下： . zkServer.sh start 查看服务器运行状态已经当前服务器角色 . zkServer.sh status standalone表示当前zookeeper为单机模式（非集群）。 ...
【zookeeper集群配置】
Deng_Senyang的博客
10-29 2073
zookeeper集群配置（3台机器）
Zookeeper搭建集群步骤
qq_22019789的博客
06-24 252
环境配置描述 服务器： Centos6.5 64bit 软件：Vmware12.0 使用虚拟机创建三台服务器作为Zookeeper集群的节点服务器，分别配置hosts文件，IP地址。 [hadoop@note1 ~]$ cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhos
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值