zookeeper集群介绍及部署

最新推荐文章于 2024-10-12 21:54:00 发布
最新推荐文章于 2024-10-12 21:54:00 发布
阅读量276 收藏
点赞数
文章标签： zookeeper linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmy51848/article/details/118933432
版权

内容概要

一、Zookeeper概述

  • Zookeeper是一个开源的、分布式的框架提供协调服务的Apache项目。

在这里插入图片描述

二、Zookeeper工作机制

  • Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
    • 也就是说Zookeeper =文件系统＋通知机制。

三、Zookeeper的特点

  • （1）Zookeeper由一个领导者（Leader）和多个跟随者（Follower）组成的一个集群。
  • （2）Zookeeper上只要有半数以上的的节点存活，那么这个集群就可以正常提供服务，所以一般Zookeeper我们可以安装奇数台服务器。
  • （3）全局数据的一致性，每个Server都保存一份相同的数据副本，Client无论连接到哪个Server上，数据都是一致的。
  • （4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，先进先出。
  • （5）数据更新的原子性，要么数据都更新成功，要么都不成功。
  • （6）实时性，在一定时间内，Client能读取到最新的数据。
  • （7）Zookeeper是树形结构
    在这里插入图片描述

四、Zookeeper的应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

  • 统一命名服务
    • 在分布式的环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP地址不容易记住，而域名就方便记忆。就像百度的IP你们可能不知道，但是都知道他的域名是www.baidu.com。
  • 统一配置管理
    • 分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。对配置文件修改后，希望能够快速同步到各个节点上。
    • 配置管理可交由2ooKeeper实现。可将配置信息写入2ooKeeper上的一个Znode。各个客户端服务器监听这个2node。一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
  • 统一集群管理
    • 分布式环境中，实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
    • ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNMode。监听这个ZNMode可获取它的实时状态变化。
  • 服务器动态上下线
    • 客户端能实时洞察到服务器上下线的变化。
  • 软负载均衡
    • 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

五、Zookeeper选举机制

第一次启动选举机制

(1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票)，选举无法完成，服务器1状态保持为LOOKING;

(2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1)大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING

(3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING;

(4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果:服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING;(5）服务器5启动，同4一样当小弟。

非第一次启动选举机制

  • 1、当ZooKeeper 集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举:
    • 服务器初始化启动。
    • 服务器运行期间无法和Leader保持连接。
  • 2、当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态。
    • 集群中本来就已存在一个Leader。对于已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接,并进行状态同步即可。
    • 集群中确实不存在Leader。假设Zookeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。

SID: 服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID: 事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的Ex值不一定完全一致，这和ZooKeeper服务器对于客户端"更新请求"的处理逻辑速度有关。
Epoch: 每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

总结选举规则

1、EPOCH大的直接胜出
2、EPOCH相同，事务ID大的胜出
3、事务ID相同，服务器ID大的胜出

六、部署Zookeeper服务器

实验环境

主机名操作系统IP地址安装包
Centos7-4Centos7192.168.73.66apache-zookeeper-3.6.3-bin.tar
Centos7-5Centos7192.168.73.168apache-zookeeper-3.6.3-bin.tar
Centos7-6Centos7192.168.73.55apache-zookeeper-3.6.3-bin.tar

先关闭防火墙和安全功能

systemctl stop firewalld
setenforce 0
1、安装JDK环境，默认已经安装的了

三台服务器

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

在这里插入图片描述

2、解压安装包，安装Zookeeper

三台服务器

##将安装包放入opt目录下
cd /opt
tar zxvf apache-zookeeper-3.6.3-bin.tar.gz
mv apache-zookeeper-3.6.3-bin /usr/local/zookeeper-3.6.3

在这里插入图片描述

3、修改配置文件

三台服务器

cd /usr/local/zookeeper-3.6.3/conf/
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg
tickTime=2000   ##通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    ####Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量)，这里表示为10*2s
syncLimit=5
dataDir=/usr/local/zookeeper-3.6.3/data      ####修改，指定保存Zookeeper中的数据的目录，目录需要单独创建添加，指定存放日志的目录,目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.6.3/logs    ##添加，指定存放日志的目录,目录需要单独创建

clientPort=2181

server.1=192.168.73.66:3188:3288
server.2=192.168.73.168:3188:3288
server.3=192.168.73.55:3188:3288

//3188端口号表示Leader和Follower相互通信的端口号
//3288端口号表示万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、使用远程传输来配置另外两台服务器

Centos7-4（192.168.73.66）

scp apache-zookeeper-3.6.3-bin.tar.gz root@192.168.73.168:/opt
scp zoo.cfg root@192.168.73.168:/usr/local/zookeeper-3.6.3/conf/

##查看配置文件是否正确
cat zoo.cfg | grep -v "^#"

在这里插入图片描述
解压和安装的步骤上面都有

在这里插入图片描述
在这里插入图片描述

5、在每个节点上创建目录和日志文件

三台服务器

mkdir /usr/local/zookeeper-3.6.3/data
mkdir /usr/local/zookeeper-3.6.3/logs

在每个节点的dataDir指定的目录下创建一个myid文件
echo 1 > /usr/local/zookeeper-3.6.3/data/myid
echo 2 > /usr/local/zookeeper-3.6.3/data/myid
echo 3 > /usr/local/zookeeper-3.6.3/data/myid

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6、编写Zookeeper服务启动脚本
vim /etc/init.d/zookeeper

#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script

HOME='/usr/local/zookeeper-3.6.3'

case $1 in
start)
   echo "--------------zookeeper启动中-------------"
   $HOME/bin/zkServer.sh start
;;

stop)
   echo "---------------zookeeper停止中--------------"
   $HOME/bin/zkServer.sh stop
;;

restart)
   echo "----------------zookeeper重启中---------------"
   $HOME/bin/zkServer.sh restart
;;

status)
   echo "-----------------查看zookeeper状态--------------"
   $HOME/bin/zkServer.sh status
;;

*)
echo "Usage:$0 {start|stop|restart|status}"
esac

chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper
service zookeeper start
service zookeeper status

在这里插入图片描述

在这里插入图片描述

可以查看到一主两从了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Wenn.
关注
Kafka+zookeeper集群部署
changyitt的博客
08-09 833
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs} ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。
zookeeper集群部署
jinhg286502582的博客
03-24 198
1 常用指令 1.1 永久修改hostname 查看主机名命令 hostname [root@centos ~]# hostname centos 永久修改主机名命令方式一 修改后重启 [root@centos ~]# hostnamectl set-hostname centos701 [root@centos ~]# hostname centos701 永久修改主机名命令方式二 修改/e...
Zookeeper集群部署
snow____man的博客
11-11 203
.
zookeeper集群介绍
cgd_8523的博客
06-08 383
为什么搭建Zookeeper集群大部分分布式应用需要一个主控、协调器或者控制器来管理物理分布的子进程。zookeeper作为注册中心，服务器和客户端都要访问，如果有大量的并发，肯定会有等待。所以可以通过zookeeper集群解决。下面是zookeeper集群部署结构图：了解Leader选举Zookeeper的启动过程中leader选举是非常重要而且最复杂的一个环节。那么什么是leader选举呢？z...
Zookeeper快速入门：部署服务、基本概念与操作
最新发布
TracyCoder的博客
10-12 1237
持久节点 (Persistent Node)不会自动删除。可以有子节点。适用于需要长期存在的数据。临时节点 (Ephemeral Node)客户端会话结束时自动删除。不能有子节点。适用于表示客户端的存在或状态。持久顺序节点 (Persistent Sequential Node)不会自动删除。创建时自动添加序列号。适用于需要唯一标识符的场景，例如任务分配。临时顺序节点 (Ephemeral Sequential Node)客户端会话结束时自动删除。创建时自动添加序列号。
Zookeeper集群
Lsssss123的博客
07-13 4503
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。
zookeeper搭建
Skye's blog
06-12 645
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下： 1.tickTime：CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。 tickTime=2000  
Docker分布式部署zookeeper集群
01-07
准备 3台机器安装docker HOST1: centos7.5 :172.16.217.135 zk1 HOST2: centos7.5 :172.16.217.136 zk2 HOST3: centos7.5 :172.16.217.137 zk3 先把防火墙开放三个端口 sudo firewall-cmd --zone=public --add-port...
Zookeeper 集群部署
随笔亦行
08-28 1091
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。zookeeper 集群node节点数量 n -1宕机，集群认仍然可以正常提供服务，所以一般以奇数的节点组成集群，故节点数量为通常为 3节点，5节点 …............
单机部署zookeeper集群
ggz 的博客
08-18 808
ZooKeeper由5台服务器 SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻3和5服务器出现故障，因此开始进行Leader选举。对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。①当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举。• 集群中存在Leader。
Zookeeper集群介绍和搭建
qq_41700030的博客
05-18 388
集群特点 顺序一致性 客户端的更新顺序与它们被发送的顺序相一致 （针对同一个Follower A提交的写请求request1、request2，某些Follower虽然可能不能在请求提交成功后立即看到（也就是强一致性），但经过自身与Leader之间的同步后，这些Follower在看到这两个请求时，一定是先看到request1，然后再看到request2，两个请求之间不会乱序，即顺序一致性） 原子性 更新操作要么成功要么失败，没有第三种结果。 单一视图 无论客户端连接到哪一个服务器，客户端将看到相同的 Zo.
java zookeeper_Java学习之——Zookeeper
weixin_32620249的博客
02-12 656
一、 ZooKeeper 简介顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的程序协调服务，是 hadoop 项目下的一个子项目。他提供的主要功 能包括：配置管理、名字服务、分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值