1.1 Zookepper介绍与安装以及Zookeeper的选举机制

最新推荐文章于 2024-08-13 18:17:31 发布
最新推荐文章于 2024-08-13 18:17:31 发布
阅读量345 收藏 2
点赞数
分类专栏： Zookeeper 文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44707283/article/details/115860745
版权

一、为什么要使用Zookepper

1.前言

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
所以在学习Dubbo框架的时候，在Dubbo中需要一个注册中心，而Zookeeper是Dubbo官方推荐的注册中心。

Dubbo架构
在这里插入图片描述

2.原因

  • 大部分的分布式应用程序都需要一个主控、协调器或者控制器来物理分布的子进程（如资源，内存分配等）
  • 目前大部分应用开大私有的协调程序，缺乏一个通用性
  • 协调程序的反复编写浪费，难以形成通用、伸缩性好的协调器
  • Zookeeper:提供通用的分布式锁服务，用于协调分布式应用

二、Zookeeper概述

1.介绍

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和HBase的重要组件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等等。
Zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务。

功能：

  • 为别的分布式程序服务的
  • 本身就是一个分布式程序
  • 主从协调 服务器节点动态上下线 统一配置管理 分布式共享锁 统一名称服务
  • 管理（存储，读取）用户程序提交的数据 并为用户程序提供数据节点监听服务

2.Zookeeper的集群机制

Zookeeper是为其他分布式程序提供服务的，所以本身不能随便就挂了，所以Zookeeper自身的集群机制就非常重要，Zookeeper的集群机制采用的是半数存活机制，也就是整个集群节点中有半数以上的节点存活的话，那么整个集群环境就可用。这也就是说Zookeeper的集群节点最好是奇数个节点。

为什么是奇数个节点最好？
在这里插入图片描述
在这里插入图片描述

2.1 Zookeeper集群节点的角色

Leader

Leader服务器是Zookeeper集群工作的核心，其主要工作如下

  • 事务请求的唯一调度和处理者，保证集群事务处理的顺序性。
  • 集群内部各服务的调度者

Follower

Follwer是Zookeeper集群的跟随者，其主要工作如下：

  • 处理客户端非事务性请求（读取数据），转发事务请求给Leader服务器
  • 参与事务请求Proposal的投票
  • 参与Leader选举投票

Observer

Observer充当观察者角色，观察Zookeeper集群的最新状态变化并将这些状态同步过来，其对于非事务请求可以进行独立处理，对于事务请求，则会转发给Leader服务器进行处理，Observe不会参与任何形式的投票，包括事务请求Proposal的投票和Leader选举投票。

二、集群环境的准备与搭建

1.集群环境的准备

通过上面的介绍我们可以知道Zookeeper的集群环境应该配置奇数个节点，所以我们这里搭建的Zookeeper环境准备是在3个节点上搭建的。

1.1 准备3个节点和对他们进行网络配置

准备3个CentOS7.0的虚拟机节点，并且安装配置好JDK版本最好是8。
我这里是采取克隆的方法。

可以通过VMware的克隆或者复制文件夹的方式来创建另外两个新节点

ip主机名
192.168.134.129CentOSbiao
192.168.134.131CentOSbiao2
192.168.134.132CentOSbiao3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 节点的映射关系

每个节点设置对应的ip和主机名的映射关系，以方便集群环境的部署

修改hosts配置文件中的信息

[root@biao ~]# vim /etc/hosts

在这里插入图片描述
配置好去测试ping每个节点是否成功
在这里插入图片描述

1.3 配置免密登录

在这里插入图片描述

生成公钥和私钥

[root@biao /]# ssh-keygen

在这里插入图片描述
发送公钥和私钥给免密登录的节点

[root@biao /]# ssh-copy-id biao1
[root@biao /]# ssh-copy-id biao2
[root@biao /]# ssh-copy-id biao3

在这里插入图片描述
节点与节点发送文件通过scp命令实现

[root@biao /]# scp -r a.txt biao2:/root/

在这里插入图片描述
在这里插入图片描述

1.4 关闭防火墙

查看防火墙状态

firewall-cmd --state

停止防火墙

systemctl stop firewall.server

禁止开机启动

systemctl disable firewall.service

2.Zookeeper集群环境搭建步骤

2.1 获取安装文件

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
注意： apache-zookeeper-3.5.9-bin.tar.gz和apache-zookeeper-3.5.9.tar.gz的区别是-bin是编译后的文件。
在这里插入图片描述
复制链接地址
在这里插入图片描述
利用wget下载安装
安装wget

[root@biao opt]# yum -y install wget

在这里插入图片描述
下载安装包在opt文件夹

[root@biao opt]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz

在这里插入图片描述
我们这里使用的是-bin的
解压缩文件

[root@biao opt]# tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

这边因为方便所以改一下名字

[root@biao opt]# mv apache-zookeeper-3.5.9-bin zookeeper

在这里插入图片描述

2.2 修改配置

进入zookeeper

[root@biao opt]# cd zookeeper/

在这里插入图片描述
进入conf
在这里插入图片描述

修改zoo.conf文件，系统默认名称是zoo_smple.conf,我们需要改为zoo.conf

[root@biao conf]# mv zoo_sample.cfg zoo.cfg

在这里插入图片描述

修改zoo.cfg

[root@biao conf]# vim zoo.cfg

修改两处：一处是Zookeeper中存储数据的文件夹，还有就是Zookeeper集群环境节点信息。

dataDir=/opt/zookeeper/data


server.1=biao1:2888:3888
server.2=biao2:2888:3888
server.3=biao3:2888:3888

在这里插入图片描述
配置myid文件
我们需要在Zookeeper的数据存储的目录中创建一个myid文件，文件中只有一行信息，即表示我们集群节点的标识，范围是1-255,每个节点的myid的数字和我们在zoo.conf中配置的server.数字是对应的。

[root@biao zookeeper]# mkdir data
[root@biao zookeeper]# cd data/
[root@biao data]# vim myid

在这里插入图片描述

2.3 分发文件

当我们配置好一个Zookeeper节点后，我们可以将Zookeeper文件夹分发给其他几个节点

[root@biao opt]# scp -r zookeeper biao2:`pwd`
[root@biao opt]# scp -r zookeeper biao3:`pwd`

在这里插入图片描述
在这里插入图片描述
分发成功之后我们需要修改各个节点的myid的信息为配置文件中的对应的数字
在这里插入图片描述
在这里插入图片描述

2.4 启动测试

整个集群环境都配置好之后我们就可以测试启动了

启动的命令

[root@biao zookeeper]# ./bin/zkServer.sh start

查看状态的命令

[root@biao zookeeper]# ./bin/zkServer.sh status

当我们仅仅启动一个节点的时候，因为半数存活机制，3个节点只启动一个节点是没有效果的
在这里插入图片描述
但是当我们启动第二个节点后就可以发现集群环境可以使用了
在这里插入图片描述
这时候回去看第一个节点的状态就出现了变化
在这里插入图片描述
第三个节点启动
在这里插入图片描述

三、Zookeeper的选举机制

在上面的例子中，难免会好奇到为什么节点1是先开启的，再开启节点2的，但是为什么节点2是Leader，而节点1却是Follower呢？这其中就涉及到了Zookeeper的选举机制了

1.为什么要进行Leader的选举呢？

Leader的主要作用：保证分布式数据一致性，即每个节点的存储的数据同步。
在这里插入图片描述

2.哪个情况下需要进行Zookeeper的Leader选举

  • 服务器初始化启动
  • 服务器运行期间无法和Leader保持连接，Leader节点崩溃，逻辑时钟崩溃。

3.服务器初始化时的Leader选举

Zookeeper由于自身的半性质，一般建议选取奇数个节点进行搭建分布式服务器集群。

这里主要以3个节点组成的服务器集群为例，去说明服务器初始化时的选举过程。当启动第一个Zookeeper的节点时，无法单独进行选举，当启动第二台时，两个节点之间进行通信，并开始选举Leader。

  1. 每个Server都投出一票。两个Server节点这时候都选自己为Leader，投票的内容为（SID，ZXID）。
    SID：Server的id，就是安装Zookeeper的时候配置文件中所配置的myid；
    ZXID：事务id，为节点的更新程度，ZXID越大，则代表Server对Znode的操作越新。
    由于服务器初始化，每个Server上Znode为0，所以Server1为自己投的票为（1,0），Server2为自己投的票为（2,0）
    在这里插入图片描述
  2. 每个Server接受来自其他Server的投票。集群中每个Server先判断投票的有效性，如检查是不是本轮的投票，是不是来Looking状态的服务器投的票
    在这里插入图片描述
  3. 对投票结果进行处理。

处理规则：

  • 首先比较ZXID，ZXID大的服务器优先作为Leader
  • 若ZXID相同，比如初始化的时候，每个Server的ZXID都为0。这种情况下，就比较myid，myid大的选出来做Leader

所以对于Server1而言，他接受的投票为（2,0），自身的投票为（1,0），ZXID是相等的，就比较myid，所以此时他会选举Server2作为Leader，将自己的投票更新为（2,0）。而Server2接收到的投票是Server1的（1,0），Server2自己为（2,0），比较之后自己的投票没有变化。Server1和Server2这时候将自己的投票再次投出，投出的票都为（2,0）。
在这里插入图片描述

  1. 统计投票。每次投票之后，服务器都会统计投票信息，如果判定某个Server有过半的票数投他，那么该Server将会作为Leader。
    对于Server1和Server2而言，统计出已经有两台机器接受了（2,0）的投票信息，所以此时选举Server2为Leader。
  2. 改变服务器状态。当确定了Leader之后，每个Server更新自己的状态，Leader将状态更新为Leading，Follower将状态更新为Following

4.服务器运行期间的Leader选举

Zookeeper运行期间，如果有新的Server加入，或者非Leader的Server宕机，那么Leader将会同步数据到新的Server或者去寻找其他备用Server代替宕机的Server。若Leader宕机，此时集群暂停对外服务，开始在内部选举新的Leader，由于意外情况，Server2宕机了，便开始进入选举状态

过程：

  1. 变更状态。其他的非Observe服务器将自己的状态改变为Looking，开始进入Leader选举
  2. 每个Server发出一个投票（myid,ZXID）,由于此集群已经运行过，所以每个Server上的ZXID可能不同。
  3. 每个Server接受来自其他Server的投票，接下来的步骤与初始化相同。
一鸭一鸭唷
关注
专栏目录
Zookeeper介绍
奮鬥徳菜鳥
07-06 2807
ZooKeeper提供一个集中式服务，包括配置维护、服务命名、分布式同步、组管理。子服务常用于分布式应用。
Zookeeper选举机制介绍
lonely_baby的博客
02-21 1227
脑裂（Split-brain）是分布式系统中常见的问题之一，指的是系统中的节点被划分成多个互相隔离的部分，每个部分都认为自己是唯一正确的状态，而与其他部分的状态不一致，导致系统失去一致性，从而产生一系列问题。如果其他节点的epoch值比自己的小，则忽略该节点的投票信息，如果epoch值相等，则比较zxid的值，选取zxid值最大的节点作为leader。采用“选主”机制，即在分布式系统中选出一个主节点，其他节点都作为从节点，由主节点来负责协调各个从节点的操作，避免不同部分之间的操作冲突和数据不一致问题。
Zookeeper中的选举机制
weixin_34176694的博客
04-12 113
Zookeeper虽然在配置文件中并没有指定master和slave，但是，zookeeper工作时，是有一个节点为leader，其他则为follower。leader是通过内部的选举机制临时产生的。 选举机制大致可以分为以下两种： 1. 全新集群的选举机制 以一个简单的例子来说明整个选举的过程。 假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也...
ZooKeeper概念详解，最全整理
春风化雨
09-11 8万+
相信大家对 ZooKeeper 应该不算陌生，但是你真的了解 ZooKeeper 是什么吗？如果别人/面试官让你讲讲 ZooKeeper 是什么，你能回答到哪个地步呢？ 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心，另外在搭建 Solr 集群的时候，我使用到了 ZooKeeper 作为 Solr 集群的管理工具。 前几天，总结项目经验的时候，我突然问自己 ZooKeepe...
一文带你学会zookeeper（了解、安装、集群、使用）
最新发布
qq_41874544的博客
08-13 2151
1、zookeeper是一个开源的分布式的服务协调框架（Apache项目）2、zookeeper从设计模式的角度来理解：是一个基于观察者模式的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据发生变化，zookeeper就将负责通知已经在zookeeper是哪个注册的那些观察者做出相应的反应。
Zookeeper
qq_37873221的博客
04-30 811
二 ZooKeeper（☆☆☆）2.1 请简述ZooKeeper的选举机制假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是LOOKING状态。（2）服务器2启动，它与...
带你搞明白Zookeeper选举机制
qu_smalldoubao的博客
12-12 2748
没什么，搞不明白别打我就行，初学者如有问题请及时指正！ 在上一篇文章我们有介绍3种server角色：Leader、Follower以及Observer（不参加选举），所以只有Leader和Follower会参加选举，那么都什么时候会出发选举呢？ 服务器初始化启动 服务运行期间无法和leader保持连接 一、选举流程 假设集群中有5个服务器 选举过程分为两种： 1.全新集群选举 server1 启动 ...
理解zookeeper选举机制
08-31
其选举机制是Zookeeper集群中至关重要的部分，它决定了哪个服务器成为领导者（Leader），负责处理所有的写操作和维护集群状态。 Zookeeper集群由多个实例组成，每个实例都拥有相同的数据，并且可以提供读写服务。当...
zookeeper选举机制图
03-24
zookeeper选举机制图，内讲述了zookeeper是如何选举出leader、fllower的
Zookeeper应用介绍与安装部署
01-27
**Zookeeper 的安装与部署** Zookeeper 可以以独立模式运行，但为了充分利用其优点，通常会部署为一个集群，包括一个 Leader 和多个 Follower。在集群中，Leader 负责处理所有的写操作，而 Follower 复制 Leader 的...
Zookeeper详解
追梦者的部落格
08-21 3148
Zookeeper简介zookeeper是一个为分布式应用所设计的开源协调服务，提供同步，配置管理，分组和命名服务。 设计目标： 简单化 zookeeper允许分布式的进程通过共享体系内的命名空间来进行协调，其组织与标准的文件系统非常相似，是由一些数据寄存器组成，在zookeeper中，这些寄存器称之为znode。zookeeper的数据存放在内存当中，因此其具有高吞吐量和低延迟。 健壮性 z
zookeeper详解
热门推荐
weixin_38612401的博客
06-13 9万+
zookeeper详解，zookeeper的选主流程，zookeeper的数据一致性，原子广播协议，分布式协调服务，分布式锁，配置中心
Zookepper的安装
qq_35457105的博客
11-06 234
安装环境： Linux：centos6.4 Jdk:1.7以上版本   Zookeeper是java开发的可以运行在windows、linux环境。需要先安装jdk。 安装步骤： 第一步：安装jdk 第二步：把zookeeper的压缩包上传到linux系统。 第三步：解压缩压缩包 tar -zxvf zookeeper-3.4.6.tar.gz 第四步：进入zookeeper-...
zookeeper概述
qq_45841239的博客
09-12 542
作用 zookeeper是一个开源的分布式协调服务器框架，主要用来解决集群中应用系统的一致性和数据管理问题。 比如说在一个主机的上有多个进程同时对一个进程之间共享的资源或者说文件进行操作，那么这时就需要调度分配操作权限，资源或者文件是不能同时被多个进程操作的，当一个资源被使用的时候需要对其上锁以免被其他进程操作（类似多线程中的线程锁），而多个主机中的多个进程同时对共享资源进行操作又涉及到了网络问题，zookeeper就是用来解决这些问题的。 一致性问题：比如说两个共享资源是保持同步不的时候的不同进程之间的读
ZooKeeper入门（一）ZooKeeper简介
jwang的博客
03-13 4815
前言 本章介绍ZooKeeper（ZK）的基本概念 方法 1.概念 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper是以Fast Paxos算法为基础的，P...
zookepper的学习
散步的博客
02-18 352
zookepper的概述 zookepper是一个开源的分布式协调服务框架，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题。 zookepper的特点 zookepper本质上是一个分布式文件系统，适合存放小文件，也可以理解为一个数据库。 zookepper中存储的其实是一个又一个Znode，Znode是zookepper中的节点 Znode是有路径的，例如 /data/host1...
apache-zookeeper-3.6.0.tar.gz和apache-zookeeper-3.6.0-bin.tar.gz选择
{竹子}
03-06 6028
从官网下载zookeeper的地址中有俩文件 一个是apache-zookeeper-3.6.0.tar.gz ，另一个是apache-zookeeper-3.6.0-bin.tar.gz 若是使用前者，运行的话会报错：Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain...
Zookeeper Leader选举机制与安装配置详解
Zookeeper的基础结构和选举机制是其核心功能的关键组成部分。在Zookeeper集群中，每个Server在启动时都会参与Leader选举。选举过程基于Paxos算法的变种——FastPaxos，确保系统的稳定性和一致性。当一个Server启动时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值