zookeeper集群介绍及部署

最新推荐文章于 2023-11-15 15:48:44 发布
最新推荐文章于 2023-11-15 15:48:44 发布
阅读量239 收藏
点赞数
文章标签： zookeeper linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmy51848/article/details/118933432
版权

内容概要

一、Zookeeper概述

  • Zookeeper是一个开源的、分布式的框架提供协调服务的Apache项目。

在这里插入图片描述

二、Zookeeper工作机制

  • Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
    • 也就是说Zookeeper =文件系统＋通知机制。

三、Zookeeper的特点

  • （1）Zookeeper由一个领导者（Leader）和多个跟随者（Follower）组成的一个集群。
  • （2）Zookeeper上只要有半数以上的的节点存活，那么这个集群就可以正常提供服务，所以一般Zookeeper我们可以安装奇数台服务器。
  • （3）全局数据的一致性，每个Server都保存一份相同的数据副本，Client无论连接到哪个Server上，数据都是一致的。
  • （4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，先进先出。
  • （5）数据更新的原子性，要么数据都更新成功，要么都不成功。
  • （6）实时性，在一定时间内，Client能读取到最新的数据。
  • （7）Zookeeper是树形结构
    在这里插入图片描述

四、Zookeeper的应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

  • 统一命名服务
    • 在分布式的环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP地址不容易记住，而域名就方便记忆。就像百度的IP你们可能不知道，但是都知道他的域名是www.baidu.com。
  • 统一配置管理
    • 分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。对配置文件修改后，希望能够快速同步到各个节点上。
    • 配置管理可交由2ooKeeper实现。可将配置信息写入2ooKeeper上的一个Znode。各个客户端服务器监听这个2node。一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
  • 统一集群管理
    • 分布式环境中，实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
    • ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNMode。监听这个ZNMode可获取它的实时状态变化。
  • 服务器动态上下线
    • 客户端能实时洞察到服务器上下线的变化。
  • 软负载均衡
    • 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

五、Zookeeper选举机制

第一次启动选举机制

(1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票)，选举无法完成，服务器1状态保持为LOOKING;

(2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1)大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING

(3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING;

(4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果:服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING;(5）服务器5启动，同4一样当小弟。

非第一次启动选举机制

  • 1、当ZooKeeper 集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举:
    • 服务器初始化启动。
    • 服务器运行期间无法和Leader保持连接。
  • 2、当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态。
    • 集群中本来就已存在一个Leader。对于已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接,并进行状态同步即可。
    • 集群中确实不存在Leader。假设Zookeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。

SID: 服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID: 事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的Ex值不一定完全一致，这和ZooKeeper服务器对于客户端"更新请求"的处理逻辑速度有关。
Epoch: 每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

总结选举规则

1、EPOCH大的直接胜出
2、EPOCH相同，事务ID大的胜出
3、事务ID相同，服务器ID大的胜出

六、部署Zookeeper服务器

实验环境

主机名操作系统IP地址安装包
Centos7-4Centos7192.168.73.66apache-zookeeper-3.6.3-bin.tar
Centos7-5Centos7192.168.73.168apache-zookeeper-3.6.3-bin.tar
Centos7-6Centos7192.168.73.55apache-zookeeper-3.6.3-bin.tar

先关闭防火墙和安全功能

systemctl stop firewalld
setenforce 0
1、安装JDK环境，默认已经安装的了

三台服务器

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

在这里插入图片描述

2、解压安装包，安装Zookeeper

三台服务器

##将安装包放入opt目录下
cd /opt
tar zxvf apache-zookeeper-3.6.3-bin.tar.gz
mv apache-zookeeper-3.6.3-bin /usr/local/zookeeper-3.6.3

在这里插入图片描述

3、修改配置文件

三台服务器

cd /usr/local/zookeeper-3.6.3/conf/
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
tickTime=2000   ##通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    ####Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量)，这里表示为10*2s
syncLimit=5
dataDir=/usr/local/zookeeper-3.6.3/data      ####修改，指定保存Zookeeper中的数据的目录，目录需要单独创建添加，指定存放日志的目录,目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.6.3/logs    ##添加，指定存放日志的目录,目录需要单独创建

clientPort=2181

server.1=192.168.73.66:3188:3288
server.2=192.168.73.168:3188:3288
server.3=192.168.73.55:3188:3288

//3188端口号表示Leader和Follower相互通信的端口号
//3288端口号表示万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、使用远程传输来配置另外两台服务器

Centos7-4（192.168.73.66）

scp apache-zookeeper-3.6.3-bin.tar.gz root@192.168.73.168:/opt
scp zoo.cfg root@192.168.73.168:/usr/local/zookeeper-3.6.3/conf/

##查看配置文件是否正确
cat zoo.cfg | grep -v "^#"

在这里插入图片描述
解压和安装的步骤上面都有

在这里插入图片描述
在这里插入图片描述

5、在每个节点上创建目录和日志文件

三台服务器

mkdir /usr/local/zookeeper-3.6.3/data
mkdir /usr/local/zookeeper-3.6.3/logs

在每个节点的dataDir指定的目录下创建一个myid文件
echo 1 > /usr/local/zookeeper-3.6.3/data/myid
echo 2 > /usr/local/zookeeper-3.6.3/data/myid
echo 3 > /usr/local/zookeeper-3.6.3/data/myid

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6、编写Zookeeper服务启动脚本
vim /etc/init.d/zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script

HOME='/usr/local/zookeeper-3.6.3'

case $1 in
start)
   echo "--------------zookeeper启动中-------------"
   $HOME/bin/zkServer.sh start
;;

stop)
   echo "---------------zookeeper停止中--------------"
   $HOME/bin/zkServer.sh stop
;;

restart)
   echo "----------------zookeeper重启中---------------"
   $HOME/bin/zkServer.sh restart
;;

status)
   echo "-----------------查看zookeeper状态--------------"
   $HOME/bin/zkServer.sh status
;;

*)
echo "Usage:$0 {start|stop|restart|status}"
esac

chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper
service zookeeper start
service zookeeper status

在这里插入图片描述

在这里插入图片描述

可以查看到一主两从了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Wenn.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ZooKeeper集群
weixin_55609821的博客
07-20 453
文章目录Zookeeper概述Zookeeper定义Zookeeper 工作机制 Zookeeper概述 Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 Zookeeper 工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也
Zookeeper集群部署3.5.5.docx
09-14
Zookeeper集群部署3.5.5.docx
Zookeeper集群部署
王大雏的博客
07-20 617
Zookeeper集群+Fafka集群前言一、Zookeeper概述1、Zookeeper定义2、Zookeeper工作机制3、Zookeeper特点4、Zookeeper数据结构5、Zookeeper 应用场景6、Zookeeper选举机制第一次启动选举机制非第一次启动选举机制二、部署Zookeeper集群准备3台服务器做Zookeeper 集群1.安装前准备2.安装Zookeeper 前言 一、Zookeeper概述 1、Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提
zookeeper搭建
Skye's blog
06-12 589
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下： 1.tickTime：CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。 tickTime=2000  
Zookeeper集群
weixin_52269501的博客
04-09 1739
Zookeeper
zookeeper-3.4.13集群一键部署工具
07-16
2、支持伪集群部署 3、支持分布式集群部署 4、支持数据目录、端口参数灵活配置 5、支持创建、启动、停止、重启、检测zookeeper集群状态 说明：工具使用非常简单，只需要修改变量文件，一分钟就可以快速帮你部署...
Docker分布式部署zookeeper集群
01-07
准备 3台机器安装docker HOST1: centos7.5 :172.16.217.135 zk1 HOST2: centos7.5 :172.16.217.136 zk2 HOST3: centos7.5 :172.16.217.137 zk3 先把防火墙开放三个端口 sudo firewall-cmd --zone=public --add-port...
liunx安装zookeeper及集群部署
09-12
该文档主要是描述了在liunx下如何搭建zookeeper以及zookeeper集群的部署方法，还有就是我们如何在dubbo分布式中如何配置的说明。亲测集群可用，并完全运用到我司项目的生产环境上，安全稳定，未出问题。
zookeeper集群部署文档.txt
04-10
zookeeper是现在大数据领域不可或缺的组件，它用于Hadoop生态圈多个组件的HA配置，协调各个节点有序进行工作，在这里，我将一步一步教你搭建生产使用的zookeeper集群。
Zookeeper集群搭建
Free雅轩的博客
12-01 4884
所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。
ZooKeper集群的安装部署
m0_61232019的博客
10-25 2578
一、前期准备 二、环境搭建 三、 集群测试 四、问题总结
ZooKeeper集群部署
weixin_52356946的博客
12-27 549
ZooKeeper集群部署
zookeeper集群
qq_42819092的博客
08-16 2549
zookeeper
Zookeeper概述及部署
Axic123的博客
07-13 2076
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper的工作机制是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说Zookeeper=文件系统+通知机制。
java zookeeper_Java学习之——Zookeeper
weixin_32620249的博客
02-12 536
一、 ZooKeeper 简介顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的程序协调服务，是 hadoop 项目下的一个子项目。他提供的主要功 能包括：配置管理、名字服务、分布式...
zookeeper的安装部署
最新发布
weixin_73350116的博客
11-15 291
编写单机版的应用比较简单，但是编写分布式应用就比较困难，主要原因在于会出现部分失败。什么是部分失败呢？当一条消息在网络中的两个节点之间传输时，如果出现网络错误，发送者无法知道接收者是否已经收到这条消息，接收者可能在出现网络错误之前就已经收到这条消息，也有可能没有收到，又或者接收者的进程已经“死掉”。发送者只能重新连接接收者并发送咨询请求才能获知之前的信息接收者是否收到。简而言之，部分失败就是不知道一个操作是否已经失败。
Zookeeper 集群部署
随笔亦行
08-28 949
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。zookeeper 集群node节点数量 n -1宕机，集群认仍然可以正常提供服务，所以一般以奇数的节点组成集群，故节点数量为通常为 3节点，5节点 …............
zookeeper集群部署
05-13
Zookeeper是一个分布式应用程序协调服务，用于管理大规模分布式系统中的配置信息、命名服务、分布式同步和提供组服务。以下是Zookeeper集群部署的步骤： 1. 安装Java环境：Zookeeper需要Java环境的支持，因此首先需要安装Java环境。 2. 下载Zookeeper：从官方网站上下载Zookeeper安装包，解压到指定目录下。 3. 配置Zookeeper：进入Zookeeper的conf目录，复制一份zoo_sample.cfg文件，并将其重命名为zoo.cfg。修改zoo.cfg文件，主要修改以下三个参数： a) dataDir：指定Zookeeper存储数据的目录。 b) clientPort：指定客户端连接Zookeeper的端口。 c) server.x：指定Zookeeper集群中的服务器列表。 其中x为服务器编号，从1开始递增。 4. 启动Zookeeper：进入Zookeeper的bin目录，执行命令 ./zkServer.sh start，即可启动Zookeeper。执行命令 ./zkServer.sh status 可以查看Zookeeper的状态。 5. 集群配置：在每个Zookeeper服务器上，都需要进行以上步骤的配置和启动操作。在每个服务器上，将zoo.cfg文件中的server.x参数修改为所有Zookeeper服务器的列表，例如：server.1=192.168.0.1:2888:3888，server.2=192.168.0.2:2888:3888，server.3=192.168.0.3:2888:3888。 6. 测试Zookeeper：在任意一个Zookeeper服务器上，执行命令 ./zkCli.sh 可以进入Zookeeper的命令行模式。在命令行模式下，可以输入help命令查看帮助信息，输入ls /命令可以查看Zookeeper中的节点信息。 以上就是Zookeeper集群部署的步骤，需要注意的是，Zookeeper的集群至少需要三个服务器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值