大数据技术——Zookeeper分布式框架协调服务（1.入门）

最新推荐文章于 2023-11-02 14:16:43 发布
最新推荐文章于 2023-11-02 14:16:43 发布
阅读量513 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： zookeeper big data 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52435951/article/details/124579370
版权
本文深入介绍了Zookeeper，一个用于分布式协调服务的开源项目。从Zookeeper的基本概念、特点、数据结构、应用场景，到本地安装、集群操作、客户端命令行、API操作，再到服务器动态上下线监听和分布式锁案例，全面阐述了Zookeeper的工作原理和实际应用。特别强调了选举机制和面试重点，如集群安装数量建议和常用命令。
摘要由CSDN通过智能技术生成

文章目录

一、Zookeeper 入门

1.1 概述

Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。
在这里插入图片描述
Zookeeper工作机制
在这里插入图片描述
Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

1.2 特点

在这里插入图片描述

1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
2）集群中只要有 半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行。
5）数据更新原子性，一次数据更新要么成功，要么失败。
6）实时性，在一定时间范围内，Client能读到最新数据。

1.3 数据结构

ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个节点称做一个 ZNode。每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过其路径唯一标识。

在这里插入图片描述

1.4 应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
统一命名服务
在这里插入图片描述
在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
例如：IP不容易记住，而域名容易记住。
统一配置管理
在这里插入图片描述
1）分布式环境下，配置文件同步非常常见。
（1）一般要求一个集群中，所有节点的配置信息是一致的，比如 Kafka 集群。
（2）对配置文件修改后，希望能够快速同步到各个节点上。
2）配置管理可交由ZooKeeper实现。
（1）可将配置信息写入ZooKeeper上的一个Znode。
（2）各个客户端服务器监听这个Znode。
（3）一旦Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
统一集群管理
在这里插入图片描述
1）分布式环境中，实时掌握每个节点的状态是必要的。
（1）可根据节点实时状态做出一些调整。
2）ZooKeeper可以实现实时监控节点状态变化
（1）可将节点信息写入ZooKeeper上的一个ZNode。
（2）监听这个ZNode可获取它的实时状态变化。
服务器动态上下线
在这里插入图片描述
软负载均衡
在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求
在这里插入图片描述

1.5 下载地址

1）官网首页：
链接: https://zookeeper.apache.org/.
2）下载截图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3 ）下载 Linux 环境安装的 tar 包
在这里插入图片描述

二、Zookeeper 本地安装

2.1 本地模式

1）安装前准备
（1）安装 JDK
（2）拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下
（3）解压到指定目录

[xusheng@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

在这里插入图片描述
在这里插入图片描述

（4）修改名称

[xusheng@hadoop102 module]$ mv apache-zookeeper-3.5.7 -bin/ zookeeper-3.5.7

在这里插入图片描述

2）配置修改
（1）将/opt/module/zookeeper-3.5.7/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg；

[xusheng@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

（2）打开 zoo.cfg 文件，修改 dataDir 路径：

[xusheng@hadoop102 zookeeper-3.5.7]$ vim zoo.cfg

修改如下内容：

dataDir=/opt/module/zookeeper-3.5.7/zkData

在这里插入图片描述

（3）在/opt/module/zookeeper-3.5.7/这个目录上创建 zkData 文件夹

[xusheng@hadoop102 zookeeper-3.5.7]$ mkdir zkData

在这里插入图片描述

3）作 操作 Zookeeper
（1）启动 Zookeeper

[xusheng@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start

（2）查看进程是否启动

[xusheng@hadoop102 zookeeper-3.5.7]$ jps
4020 Jps
4001 QuorumPeerMain

在这里插入图片描述

（3）查看状态

[xusheng@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: standalone

在这里插入图片描述

（4）启动客户端

[xusheng@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh

（5）退出客户端：

[zk: localhost:2181(CONNECTED) 0] quit

（6）停止 Zookeeper

[xusheng@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh stop

2.2 配置参数 解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：
1 ）tickTime = 2000：通信心跳 时间， Zookeeper 服务器 与 客户端心跳时间，单位毫秒
在这里插入图片描述

2 ）initLimit = 10 ：LF 初始通信时限
在这里插入图片描述
Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量）
3 ）syncLimit = 5 ：LF同步通信时限
在这里插入图片描述
Leader和Follower之间通信时间如果超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
4 ）dataDir ：保存Zookeeper中的数据
注意：默认的tmp目录，容易被Linux系统定期删除，所以一般不用默认的tmp目录。
5 ）clientPort = 2181 ：客户端连接端口 ，通常不做修改。

三、Zookeeper 集群操作

3.1 集群操作

3.1.1 集群安装

1）集群 规划
在 hadoop102、hadoop103 和 hadoop104 三个节点上都部署 Zookeeper。
思考：如果是 10 台服务器，需要部署多少台 Zookeeper ？
2）解压安装
（1）在 hadoop102 解压 Zookeeper 安装包到/opt/module/目录下

[xusheng@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

（2）修改 apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7

[xusheng@hadoop102 module]$ mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7

3） 配置服务器 编号
（1）在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData

[xusheng@hadoop102 zookeeper-3.5.7]$ mkdir zkData

（2）在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件

[xusheng@hadoop102 zkData]$ vi myid

在这里插入图片描述

在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）

2

注意：添加 myid 文件，一定要在 Linux 里面创建，在 notepad++里面很可能乱码
（3）拷贝配置好的 zookeeper 到其他机器上

[xusheng@hadoop102 module ]$ xsync zookeeper-3.5.7

并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 3、4
4）配置zoo.cfg 文件
（1）重命名/opt/module/zookeeper-3.5.7/conf 这个目录下的 zoo_sample.cfg 为 zoo.cfg

[xusheng@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg

（2）打开 zoo.cfg 文件

[xusheng@hadoop102 conf]$ vim zoo.cfg

#修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

#增加如下配置

#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

在这里插入图片描述

（3）配置参数解读
server.A=B:C:D。

A 是一个数字，表示这个是第几号服务器； 集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B是这个服务器的地址；
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D 是万一集群中的 Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

（4）同步 zoo.cfg 配置文件

[xusheng@hadoop102 conf]$ xsync zoo.cfg

在这里插入图片描述

5）集群操作
（1）分别启动 Zookeeper

[xusheng@hadoop102 zookeeper-3.5.7]$ bin/zkServer.sh start
[xusheng@hadoop103 zookeeper-3.5.7]$ bin/zkServer.sh start
[xusheng@hadoop104 zookeeper-3.5.7]$ bin/zkServer.sh start

（2）查看状态

[xusheng@hadoop102 zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: follower
[xusheng@hadoop103 zookeeper-3.5.7]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: leader
[xusheng@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: follower

3.1.2 选举机制（面试 重点）

Zookeeper选举机制——第一次启动
在这里插入图片描述
SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为
LOOKING；
（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
（5）服务器5启动，同4一样当小弟。

Zookeeper选举机制——非第一次启动
在这里插入图片描述
SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加.

（1）当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举： • 服务器初始化启动。
• 服务器运行期间无法和Leader保持连接。
（2）而当一台机器进入Leader选举流程时，当前集群也可能会处于以下两种状态：
• 集群中本来就已经存在一个Leader。
对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。
• 集群中确实不存在Leader。 。
假设ZooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻， 3和5服务器出现故障，因此开始进行Leader选举。

在这里插入图片描述

3.1.3 ZK 集群启动停止脚本

1）在 hadoop102 的/home/xusheng/bin 目录下创建脚本

[xusheng@hadoop102 bin]$ vim zk.sh

在这里插入图片描述

在脚本中编写如下内容

#!/bin/bash

case $1 in
"start"){
   
	for i in hadoop102 hadoop103 hadoop104
	do
		echo ---------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
	done
}
;;
"stop"){
   
	for i in hadoop102 hadoop103 hadoop104
	do
		echo ---------- zookeeper $i 停止 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
	done
}
;;
"status"){
最低0.47元/天 解锁文章
Zoonkeeper入门使用
qq_1243443888的博客
07-30 971
Zoookeeper的定义 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，简称zk，是一个中间件。 分布式？ 分布式系统一定是由多个节点组成的系统。 其中，节点指的是计算机服务器，而且这些节点一般不是孤立的，而是互通的。 这些连通的节点上部署了我们的节点，并且相互的操作会有协同 分布式系统对于用户而言，他们面对的就是一个服务器，提供用户需要的服务而已，而实际上这些服务是通过背后的众多服务器组成的一个分布式系统，因此分布式系统看起来像是一个超级计算机一样。 zookeeper
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3856
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
什么是zookeeper？
君君的专栏
04-16 553
感谢 https://my.oschina.net/u/3777556/blog/3037221 前言 只有光头才能变强。 一、什么是ZooKeeper 从上面我们也可以发现，好像哪都有ZooKeeper的身影，那什么是ZooKeeper呢？我们先去官网看看介绍： 官网还有另一段话： ZooKeeper: A Distributed Coordination Service for Dis...
大数据入门：Zookeeper分布式协调服务
shuimuzh123的博客
11-26 221
大数据技术生态的各个组件，不少都是带着动物Logo的，什么大象（Hadoop）、蜜蜂（Hive）、松鼠（Flink），因此也就有了Hadoop动物园的说法，而要管理好各个组件，自然也就需要一个“动物管理员”，于是Zookeeper就出现了。今天的大数据入门分享，我们主要来讲讲Zookeeper分布式协调服务。 一、Zookeeper简介 ZooKeeper是开源分布式协调服务组件，提供高可用、高性能、稳定的分布式数据一致性解决方案，通常被用于实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通
Zookeeper系列之：监控zookeeper节点和节点数据变化
zhengzaifeidelushang的博客
03-19 1685
Zookeeper系列之：监控zookeeper节点和节点数据变化一、监控zookeeper节点变化二、监控zookeeper节点数据变化三、完整实现代码 一、监控zookeeper节点变化 @zk.ChildrenWatch('/flume') def watch_child(children): """监听子节点""" print("All Children: %s" % children) 二、监控zookeeper节点数据变化 @zk.DataWatch("/flume/kafka
Zookeeper服务治理(3)--JavaAPI
weixin_48311332的博客
10-11 132
搭建项目,引入pom和日志文件 创建测试类，使用curator连接zookeeper 创建节点 查询节点 修改节点 删除节点 Watch监听-NodeCache Watch监听-PathChildrenCache Watch监听-TreeCache
大数据与云计算培训学习资料 Fourinone实现分布式计算 共3页.pdf
03-20
1. **集成度高**：Fourinone集成了多个流行的分布式计算组件，如Hadoop的MapReduce并行计算模型、ZooKeeper的分布式协调服务，以及MQ的消息传递功能。 2. **分布式缓存**：不仅实现了ZooKeeper的所有功能，并对其...
大数据技术——Hadoop（学习笔记1）
RomanticRick的博客
03-25 2305
大数据技术——Hadoop Hadoop概述 Hadoop 运行环境搭建 1.Hadoop概述 1.1Hodoop是什么？ 1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。 2）主要功能是处理海量数据的存储和海量数据的分析计算问题。 3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。 1.2Hadoop发展历史（了解） 创始人：Doug Cutting Hadoop的大数据思想之源是来自Google在.
【尚硅谷】【大数据】 Zookeeper 入门【学习笔记】
weixin_46703850的博客
02-24 1053
​ Zookeeper从设计模式角度来理解：是一个基于**观察者模式**设计的分布式服务管理框架，它**负责存储和管理**大家都关心的**数据**，然后**接受观察者的注册**，一旦这些数据的状态发生变化，Zookeeper就将负责**通知**已经在Zookeeper上注册的那些观察者做出相应的反应。
java zookeeper监控_用Java代码实现监控zookeeper节点信息的变化以及遍历节点
weixin_29660181的博客
02-16 664
代码比较简单,附上待深剖import org.I0Itec.zkclient.IZkDataListener;import org.I0Itec.zkclient.ZkClient;import org.I0Itec.zkclient.serialize.SerializableSerializer;import org.apache.commons.lang3.StringUtils;impor...
zookeeper原理
荒岛码农
01-30 599
http://cailin.iteye.com/blog/2014486 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使
七、Zookeeper分布式协调配置实现
qq_37200262的博客
06-07 199
对于刚开始的时候，很多公司的服务器可能是由单个组成，但是随着业务的发展，单一节点的服务无法满足业务的飞速发展，后面就出现了分布式、集群的概念，到了现在形成的微服务，技术的改进能够更好的满足业务的需要。假设我们线上有很多个微服务分布在不同的服务器上，其中一个微服务，我们就叫它 goods-service，当 goods-service的IP地址需要变更的时候，但是 goods-service又对很多其他的程序提供了服务，这个时候如果没有一个统一配置的东西，每一个应用到 goods-service的应用程序都要
Zookeeper详解（最详细的zookeeper解析+项目实例）
最新发布
weixin_64105389的博客
11-02 1万+
zooKeeper 是一个开放源码的分布式协调服务，主要为了解决分布式架构下数据一致性问题， 它是集群的管理者， 监视着集群中各个节点的状态，根据节点提交的反馈进行下一步合理操作。 最终， 将简单易用的接口和性能高效、 功能稳定的系统提供给用户
何为 zookeeper？
尼克不可的博客
04-09 3430
一、定义 1、字面含义来看 什么是zookeeper，zookeeper从其单词的字面意思来看就是动物园管理员的意思，为什么要这样起名字呢，其实也跟这些组件有关；就hadoop而言最初名字的来源是作者的孩子有一个名为hadop的大象玩具，刚好这个单词呢也很符合容易记住的特点，然后就以它为hadoop的名字了，后面呢一系列的大数据组件都效仿，都以动物的方式进行命名，然后就有了我们的动物园（Hadoo...
进阶分布式系统架构系列（一）：Zookeeper 基础概念、功能与应用场景
民工哥的博客
08-19 1006
点击下方名片，设为星标！回复“1024”获取2TB学习资源！大家好，我是民工哥！在这之前，我们相继卷完了：关系型数据库MySQL、 NoSQL 数据库Redis、MongoDB、搜索引擎ElasticSearch、大数据Hadoop框架、PostgreSQL 数据库、消息中间件Kafka这些系列的知识体系。今天开始，我们将踏上另一个中间件学习之路：分布式协调中间件 Zooke...
Zookeeper快速入门
一个爱运动的程序员的博客
05-02 1439
Zookeeper简单使用
1663988740
07-02 557
Zookeeper 1)初识 Zookeeper 1.1)Zookeeper概念 •Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。 •Zookeeper 翻译过来就是 动物园管理员，他是用来管 Hadoop（大象）、Hive(蜜蜂)、Pig(小 猪)的管理员。简称zk •Zookeeper 是一个分布式的、开源的分布式应用程序的协调服务。 •Zookeeper 提供的主要功能包括： •配置管理 •分布式锁 •集群管理 2)ZooKeeper 安装与配置 2.
Zookeeper简介及核心概念
mxk4869的博客
07-19 1万+
Zookeeper简介及核心概念
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

虚神公子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值