《Zookeeper》第一篇 集群环境搭建

已于 2023-08-03 13:45:23 修改
阅读量1.2k 收藏 3
点赞数
分类专栏： 分布式技术 # Zookeeper 文章标签： java-zookeeper zookeeper 分布式
于 2023-02-14 17:45:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44167408/article/details/129025963
版权

目录


在实际的生产环境中,集群是部署在不同机器上的, 本着简单明了的原则, 本次介绍的集群是搭建在同一台虚拟机器上,建立三个Zookeeper的节点,用端口号进行区分,搭建一个 伪集群
在这里插入图片描述

一. 环境准备

1. 配置JDK

Zookeeper的运行需要JDK为基础,所以需要先在虚拟机上配置好JDK
JDK1.8 工具包
提取码: qwer

  • 先将JDK工具包上传到虚拟机上(一般上传到目录/usr/local目录下)
  • 解压工具包
tar -zxvf jdk-8u341-linux-x64.tar.gz
  • 配置JDK环境变量
vim /etc/profile

先按 i键 进入编辑模式, 在末尾添加下面两句, 再按 Esc键 退出编辑模式,最后按 Shift + Q键 , 进入 Ex模式 , 输入 wq! 保存退出

export JAVA_HOME=/usr/local/jdk1.8.0_341/
export PATH=$PATH:$JAVA_HOME/bin
  • 重新刷新下配置,否则可能不生效
source /etc/profile
  • 最后验证下JDK是否配置成功
java -version

出现下面情况,说明JDK配置成功
在这里插入图片描述

2. 配置Zookeeper

Zookeeper 工具包
提取码: qwer

  • 将Zookeeper工具包上传到虚拟机上(一般上传到目录/usr/local目录下),并解压
tar -zxvf zookeeper-3.5.8.tar.gz
  • 为了后续配置文件好配,这里我单独创建一个zookeeper目录
mkdir /usr/local/zookeeper
  • 将解压后的apache-zookeeper-3.5.8-bin目录中的内容复制至zookeeper目录
cp -r apache-zookeeper-3.5.8-bin/.  /usr/local/zookeeper
  • 新建data目录,并在此目录下新建三个子目录
mkdir /usr/local/zookeeper/data
mkdir /usr/local/zookeeper/data/node-1
mkdir /usr/local/zookeeper/data/node-2
mkdir /usr/local/zookeeper/data/node-3
  • 为了不破坏zookeeper原始的配置文件,搭错了还能重来, 将zoo_sample.cfg配置文件复制三份
cp  /usr/local/zookeeper/conf/zoo_sample.cfg  /usr/local/zookeeper/conf/zoo-1.cfg
cp  /usr/local/zookeeper/conf/zoo_sample.cfg  /usr/local/zookeeper/conf/zoo-2.cfg
cp  /usr/local/zookeeper/conf/zoo_sample.cfg  /usr/local/zookeeper/conf/zoo-3.cfg
  • 修改三份zoo.cfg中的clientPort和dataDir配置信息
vim /usr/local/zookeeper/conf/zoo-1.cfg
## node-1节点 - zoo-1.cfg
clientPort=2181  ## 默认就是2181,不用改
dataDir=/usr/local/zookeeper/data/node-1

vim /usr/local/zookeeper/conf/zoo-2.cfg
## node-2节点 - zoo-2.cfg
clientPort=2182  
dataDir=/usr/local/zookeeper/data/node-2

vim /usr/local/zookeeper/conf/zoo-3.cfg
## node-3节点 - zoo-3.cfg
clientPort=2183  
dataDir=/usr/local/zookeeper/data/node-3

至此,搭建集群的前期准备工作就算完成了,接下来就是集群搭建了

二. Zookeeper 集群搭建

1. 创建myid文件

在每个节点中的data目录下, 创建下myid文件,并且写入标识值
myid的值是zoo.cfg文件里定义的server.A项A的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个server，只是一个标识作用。

echo 1 >/usr/local/zookeeper/data/node-1/myid
echo 2 >/usr/local/zookeeper/data/node-2/myid
echo 3 >/usr/local/zookeeper/data/node-3/myid

2. 配置集群节点信息

在每个节点的zoo.cfg文件中都配置集群节点信息

server.1=10.15.122.88:2881:3881
server.2=10.15.122.88:2882:3882
server.3=10.15.122.88:2883:3883

server.A=B:C:D

  • A 是一个数字，表示这个是第几号服务器； 集群模式下配置一个文件 myid，这个文件在 dataDir
    目录下，这个文件里面有一个数据 就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据
    与 zoo.cfg 里面的配置信息比较从而判断到底是哪个server
  • B 是这个服务器的地址
  • C 是这个服务器Follower与集群中的Leader服务器交换信息的端口
  • D 是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而
    这个端口就是用来执行选举时服务器相互通信的端口

3. 启动Zookeeper

启动三个zoo.cfg配置文件,代表三个zookeeper节点

sh ./bin/zkServer.sh start ./conf/zoo-1.cfg
sh ./bin/zkServer.sh start ./conf/zoo-2.cfg
sh ./bin/zkServer.sh start ./conf/zoo-3.cfg

在这里插入图片描述

4. 查看各节点状态

sh ./bin/zkServer.sh status ./conf/zoo-1.cfg
sh ./bin/zkServer.sh status ./conf/zoo-2.cfg
sh ./bin/zkServer.sh status ./conf/zoo-3.cfg

在这里插入图片描述

从上述三个节点的状态看, 节点2成为了主节点, 节点1和节点3成为了从节点
至此, 简易的Zookeeper集群搭建完成

三. 验证集群是否正常运行

查看三个节点运行的进程号

ps -ef | grep .cfg

在这里插入图片描述
以下每个场景都是模拟一主二从, 现在node-1和node-3是从节点,node-2是主节点
下线节点使用下面命令,直接杀死进程

kill -9 进程号

模拟场景1: 下线一个从节点, 主节点和另一个从节点正常存活

将从节点node1下线, 从节点node3和主节点node2存活

kill -9 9184

此时再来查看进程运行情况
在这里插入图片描述
可以看到从节点node-1已经成功下线
再看下集群情况
在这里插入图片描述
此时,node-1节点已经下线,不影响集群的正常运行且其他节点的身份也没变化, node-2依旧是主节点,node-3还是从节点

模拟场景2: 下线主节点,其他从节点正常存活

前提要先把上一场景的node-1重新启起来.node-1会以从节点的身份重新加入到集群中
将主节点node-2下线, 从节点node-1和主节点node-3正常存活

kill -9 9235

此时再来查看进程运行情况
在这里插入图片描述
可以看到主节点node-2已经成功下线
再看下集群情况

sh ./bin/zkServer.sh status ./conf/zoo-1.cfg
sh ./bin/zkServer.sh status ./conf/zoo-2.cfg
sh ./bin/zkServer.sh status ./conf/zoo-3.cfg

在这里插入图片描述
此时,node-2下线后, node-1依旧是从节点, node-3由从节点变成主节点了
这是因为集群必须要有一个主节点, 当主节点下线之后,会在其他从节点当中重新选举出一个主节点来保证集群的正常运行

模拟场景3: 下线两个节点

前提要先把上一场景的node-2重新启起来,node-2会以从节点的身份重新加入到集群中
将节点node-1和node-3下线, 节点node-2正常存活

kill -9 9299
kill -9 9632

此时再来查看进程运行情况
在这里插入图片描述
此时就一个node-3节点进程在运行
再看下集群情况

sh ./bin/zkServer.sh status ./conf/zoo-1.cfg
sh ./bin/zkServer.sh status ./conf/zoo-2.cfg
sh ./bin/zkServer.sh status ./conf/zoo-3.cfg

在这里插入图片描述
可以看出集群已经停止运行,因为只有一个节点存活, 小于集群的最小存活节点数的规则
最小存活节点数 = (节点总数)/2 + 1
由此计算规则可知, 要想集群正常运行,必须要有两个节点存活才行
验证下: 之前是节点node-2存活, 重新启动节点node-1
在这里插入图片描述
重新启动节点node-1,发现集群又恢复正常了,原本节点node-2是从节点, 此时有两个节点,满足集群的最小节点数, 集群正常运行,并重新选举出一个主节点
注意: 如果之前下线的2个节点都是从节点, 主节点存活, 那么此时就不会重新选举

四. 总结

  • 集群必须要有一个主节点
  • 集群中,如果主节点下线, 会在剩下的从节点中重新选举一个主节点
  • 集群中,如果现有存活的节点数小于集群最小存活节点数时, 集群停止工作, 变成单机 ; 当有节点重新启用时, 满足集群最小存活节点数条件, 集群恢复正常
搬砖界的小白
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Zookeeper集群搭建.doc
12-15
Zookeeper集群搭建是一个重要的任务，尤其在分布式系统中，它作为协调服务，为高可用性和数据一致性提供了基础。Zookeeper是Apache的一个开源项目，用于处理分布式应用中的命名服务、配置管理、集群同步、选举等功能...
zookeeper linux集群搭建流程
08-16
第一步：下载和解压 ZooKeeper 首先，需要下载 ZooKeeper 的安装包，例如 zookeeper-3.4.6.tar.gz，然后将其拷贝到每台机器的安装目录下，执行命令 tar –zxvf zookeeper-3.4.6.tar.gz 进行解压，解压之后的目录...
zookeeper快速入门一：zookeeper安装与启动
热门推荐
马不腾的博客
09-29 2万+
本文是《zookeeper你想要的全都有系列》之快速入门中的第一篇，欢迎大家观看与指出不足。 写在前面： 不影响教程，笔者安装zookeeper用的是WSL(windows下的linux子系统），当然你想直接在windows上用zookeeper也是可以的。 如果你也想用wsl，可以参考这篇文章Windows10安装Linux系统(WSL) 目录 一、zookeeper下载 二、安装zookeeper 三、linux下启动zookeeper 四、windows下启动zookeeper 进入
Zookeeper概述
亦翼的博客
08-05 2417
文章目录Zookeeper概述工作机制特点数据结构应用场景统一命名服务统一配置管理服务器节点动态上下线软负载均衡下载地址Zookeeper本地模式安装安装前的准备修改配置相关操作配置参数解读Zookeeper内部原理选举机制节点类型监听器原理数据写入流程 Zookeeper概述 百度百科：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域
Zookeeper集群搭建详细步骤
WLKUYM的博客
05-03 1138
真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。
Zookeeper快速入门（Zookeeper概述、安装、集群安装、选举机制、命令行操作、节点类型、监听器原理）
星光不问赶路人，岁月不负有心人
05-27 2575
Zookeeper快速入门（Zookeeper概述、安装、集群安装、选举机制客户端操作、节点类型、监听器原理）
Zookeeper完全教程：集群搭建、常用命令、Java API使用代码示例
学亮编程手记
11-17 640
Zookeeper的介绍和安装Zookeeper客户端使用ZookeeperJavaAPI使用​ 我们为了学习Dubbo，而在dubbo中需要一个注册中心，而Zookeeper是我们在使用Dubbo是官方推荐的注册中心，所以我们先来介绍ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
zookeeper笔记
kyrielx的博客
09-01 3152
zookeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程，zookeeper通过其简单的架构和API解决了这个问题。zookeeper允许开发人员专注于核心业务逻辑开发，而不必担心应用的分布式特性。Curator是Netflix公司开源的一套zookeeper客户端框架，Curator是对zookeeper支持最好的客户端框架。...
zookeeper伪分布式搭建(1)1
08-08
伪分布式集群意味着在同一台机器上运行多个 Zookeeper 实例，它们各自独立并模拟分布式环境的行为。 首先，确保你的服务器已经安装了 JDK，并且可以通过 `java -version` 命令检查版本。这是部署 Zookeeper 的前提...
搭建Zookeeper单机和集群
01-20
第一种（文件太大时最好别用）： 安装上传下载文件组件：yum install lrzsz 上传下载文件：rz -be 第二种（推荐）： 使用Xftp导入文件 准备工作： java环境（JDK1.7以上版本）： 详情见：Linux下安装JDK   单机...
zookeeper之分布式环境搭建.zip
最新发布
06-14
Zookeeper的分布式环境搭建是实现分布式应用协调的关键步骤，正确配置和管理Zookeeper集群对于确保分布式系统的稳定性和一致性至关重要。同时，了解Zookeeper的工作原理和API，可以帮助我们更好地利用它来解决实际...
Zookeeper单机及集群安装配置
04-25
Zookeeper单机及集群安装配置
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Zookeeper集群搭建与配置
禅与计算机程序设计艺术
01-25 976
1.背景介绍 1. 背景介绍 Apache Zookeeper 是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一种可靠的、高性能的协同机制，以实现分布式应用程序的一致性和可用性。Zookeeper 的核心功能包括： 分布式同步：Zookeeper 提供了一种高效的分布式同步机制，以实现多个节点之间的数据同步。 配置管理：Zookeeper 可以存储和管理应用程序的配置信息，以...
搭建Zookeeper集群（七）
s980629的博客
03-17 119
zookeeper集群在linux中单个服务器的集群搭建
ZooKeeper安装与配置集群
.
05-03 5808
简介 :ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，选举策略、watch 监听、ZAB协议、集群角色、节点类型、数据模型等.....
zookeeper集群搭建步骤
码农崛起
09-06 1028
zooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。zooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
ZooKeeper环境搭建（保姆级教程）
tangyi2008的专栏
12-16 4971
在分布式领域，一个不可或缺的组件，便是ZooKeeper。 ZooKeeper是一个高可用的分布式数据管理和协调框架，并且能够很好的保证分布式环境中数据的一致性。 ZooKeeper由Yahoo公司创建，是Google Chubby的开源实现。 本教程的内容安排：ZooKeeper简介 => ZooKeeper安装 => 常见问题及解决办法
Linux环境下Zookeeper集群搭建详解
搭建Zookeeper集群的第一步是准备硬件环境。在这个教程中，建议使用虚拟机如VMware，并安装CentOS 6.5操作系统。安装完成后，需要下载Zookeeper的安装包，版本为3.4.9。下载地址可在Apache官方仓库获取。 接下来是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

搬砖界的小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值