Hadoop学习笔记（十）ZooKeeper

最新推荐文章于 2023-12-08 09:40:18 发布

梧桐1233

最新推荐文章于 2023-12-08 09:40:18 发布

阅读量1.1k

点赞数

分类专栏： Hadoop学习笔记文章标签： hadoop big data hdfs

本文链接：https://blog.csdn.net/qq_40432544/article/details/121500812

版权

Hadoop学习笔记专栏收录该内容

10 篇文章 2 订阅

订阅专栏

一、Zookeeper入门

1.1 概述

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

Zookeeper从设计模式来理解：是一个人基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察这的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在Zookeeper 上注册的那些观察者做出相应的反应。

Zookeeper = 文件系统 + 通知机制

1.2 Zookeeper的特点

在这里插入图片描述

Zookeeper ：一个领导者（Leader），多个追随者（follower)组成的集群
集群中只要有半数以上的节点存活，Zookeeper就能正常服务。
全局数据一致：每个Server 保存一份相同的数据副本，Client 无论连接到那个Server，数据都是一致的。
更新请求顺序进行：来自同一个Client 的更新请求按其发送顺序依次执行。
数据更新原子性：一次数据更新要么全成功，要么都失败。
实时性：在一定时间范围内，Client 能读到最新数据。

1.3 数据结构

Zookeeper 的数据结构个UNIX文件系统很相似，整体上可以看做一棵树，每个节点称作一个ZNode。每一个Znode默认能够存储1MB的数据，每个ZNode 都可以通过其路径唯一标识。

在这里插入图片描述

1.4 应用场景

提供的服务包括：

统一命名服务
统一配置管理
统一集群管理
服务器节点动态上下线
软负载均衡

等等……

二、Zookeeper安装

1.1 本地模式安装部署

1.1.1 安装前准备

安装Jdk
拷贝Zookeeper安装包到Linux系统下
解压到指定目录

tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

1.1.2 配置修改

1、将/opt/module/zookeeper-3.5.7/conf 这个路径下的zoo_sample.cfg修改为zoo.cfg。

mv zoo_sample.cfg zoo.cfg

2、打开zoo.cfg文件，修改dataDir路径：

vim zoo.cfg

修改如下内容：

dataDir=/opt/module/zookeeper-3.5.7/zkData

3、在/opt/module/zookeeper-3.5.7/ 这个目录上创建zkData文件夹

mkdir zkData

1.1.3 操作Zookeeper

1、启动Zookeeper

bin/zkServer.sh start

2、查看进程是否启动

jps

4020 Jps
4001 QuorumPeerMain

3、查看状态：

 bin/zkServer.sh status

ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: standalone

4、启动客户端：

bin/zkCli.sh

5、退出客户端：

[zk: localhost:2181(CONNECTED) 0] quit

6、停止Zookeeper

 bin/zkServer.sh stop

2.2配置参数解读

Zookeeper 中的配置文件 zoo.cfg 中参数含义解读如下：

1、tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2、initLimit =10：LF初始通信时限

集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

3、syncLimit =5：LF同步通信时限

集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4、dataDir：数据文件目录+数据持久化路径

主要用于保存Zookeeper中的数据。

5、clientPort =2181：客户端连接端口

监听客户端连接的端口。

三、Zookeeper实战

3.1 分布式安装部署

3.1.1集群规划

在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。

3.1.2 配置服务器编号

在本地安装的基础上，进行分布式部署

1、在 /opt/module/zookeeper-3.5.7/zkData 目录下创建一个myid的文件

touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

2、编辑myid文件

 vi myid

在文件中添加与server对应的编号：

3、拷贝配置好的 myid 到其他节点上

xsync myid

并分别在hadoop103、hadoop104上修改myid文件中内容为3、4

3.1.3 配置zoo.cfg文件

1、打开zoo.cfg文件（原名：zoo_sample.cfg，我们将其改名了）

修改数据存储路径并增加如下配置：

dataDir=/opt/module/zookeeper-3.5.7/zkData
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

2、同步zoo.cfg文件

xsync zoo.cfg

3、配置参数解读

例：

server.4=hadoop104:2888:3888

4是一个数字，表示这个是第几号服务器；

集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据就是A的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。

hadoop104是这个服务器的地址；配置过hosts，实际是IP地址

2888是这个服务器Follower与集群中的Leader服务器交换信息的端口；

3888是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

3.1.4 集群操作

1、分别启动Zookeeper，在所有节点启动

bin/zkServer.sh start

2、查看状态

bin/zkServer.sh status

追随者（Follower）：

JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: follower

领导者（Leader）：

JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: leader

3.2 客户端命令行操作

启动客户端

bin/zkCli.sh

命令基本语法	功能描述
help	显示所有操作命令
ls path	使用 ls 命令来查看当前znode的子节点 -w 监听子节点变化 -s 附加次级信息
create	普通创建 -s 含有序列 -e 临时（重启或者超时消失）
get path	获得节点的值 -w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

四、API应用

4.1 创建ZooKeeper客户端

private static String connectString =
 "hadoop102:2181,hadoop103:2181,hadoop104:2181";
	private static int sessionTimeout = 2000;
	private ZooKeeper zkClient = null;

	@Before
	public void init() throws Exception {

	zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {

			@Override
			public void process(WatchedEvent event) {

				// 收到事件通知后的回调函数（用户的业务逻辑）
				System.out.println(event.getType() + "--" +event.getPath());
				// 再次启动监听
				try {
					zkClient.getChildren("/", true);
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		});
	}
}

4.2 创建子节点

// 创建子节点
@Test
public void create() throws Exception {
// 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
	String nodeCreated = zkClient.create("/atguigu", "jinlian".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}

4.3 判断Znode是否存在

// 判断znode是否存在
@Test
public void exist() throws Exception {
	Stat stat = zkClient.exists("/eclipse", false);
	System.out.println(stat == null ? "not exist" : "exist");
}

4.4 获取子节点

// 获取子节点
@Test
public void getChildren() throws Exception {
		List<String> children = zkClient.getChildren("/", true);
		for (String child : children) {
			System.out.println(child);
		}
		// 延时阻塞
		Thread.sleep(Long.MAX_VALUE);
}

4.5 监听服务器节点动态上下线案例

4.5.1 服务器端

package com.zmxiong.zk2;


import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;

import java.io.IOException;

/*
    服务器端：启动时在zookeeper中创建临时节点
    1.创建zk客户端对象
    2.判断父节点是否存在。如果不存在则创建（永久的）
    3.在父节点下创建临时节点
    4.让服务器一直运行
 */
public class ZKServer {
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        ZooKeeper zk=new ZooKeeper(connectString, 4000, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
            }
        });
        //2、判断父节点是否存在，不存在则创建（永久的）。
        Stat exits = zk.exists("/parent",false);
        zk.create("/parent","".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
        //3、在父节点下创建临时节点
        zk.create("/parent/"+args[0],args[1].getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
        //4、让服务器一直运行。
        Thread.sleep(Long.MAX_VALUE);

    }
}

4.5.2 客户端

package com.zmxiong.zk2;

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

import java.io.IOException;
import java.util.List;
/*
    客户端 ：监听父节点，并获取父节点中的子节点的内容。
    1.创建zk客户端对象
    2.判断父节点是否存在（监听父节点---定义先启动服务器再启动客户端也可以不判断）
    3.获取子节点（谁在线谁挂了）并监听
    4.客户端不能死（一直监听服务器的状态）

 */
public class ZKClient {
    private static ZooKeeper zk;
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
        zk = new ZooKeeper(connectString, 4000, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
            }
        });
        listener();
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void listener() throws InterruptedException, KeeperException {
        List<String> children =zk.getChildren("/Test", new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                try {
                    listener();
                } catch (InterruptedException | KeeperException e) {
                    e.printStackTrace();
                }
            }
        });

        for (String child : children) {
            System.out.println(child);
        }
    }
}

五、Zookeeper内部原理

5.1 节点类型

在这里插入图片描述

5.2 Stat结构体

czxid 创建节点的事务 zxid
每次修改 ZooKeeper 状态都会收到一个 zxi d形式的时间戳，也就是 ZooKeeper 事务ID。事务ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid ，如果 zxid1 小于zxid2 ，那么zxid1 在 zxid2 之前发生。
ctime - znode 被创建的毫秒数(从1970年开始)
mzxid - znode 最后更新的事务zxid
mtime - znode 最后修改的毫秒数(从1970年开始)
pZxid-znode 最后更新的子节点 zxid
cversion - znode 子节点变化号，znode 子节点修改次数
dataversion - znode 数据变化号
aclVersion - znode 访问控制列表的变化号
ephemeralOwner 如果是临时节点，这个是 znode 拥有者的 session id 。如果不是临时节点则是 0。
dataLength- znode 的数据长度
numChildren - znode 子节点数量

5.3 监听器原理

在这里插入图片描述

5.4选举机制

（1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。

（2）Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

（3）以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。

在这里插入图片描述
Zookeeper的选举机制

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；

（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的ID比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING

（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；

（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；

（5）服务器5启动，同4一样当小弟。

，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；

（5）服务器5启动，同4一样当小弟。

梧桐1233

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Hadoop学习笔记（十）ZooKeeper

一、Zookeeper入门1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式来理解：是一个人基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察这的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在Zookeeper 上注册的那些观察者做出相应的反应。 Zookeeper = 文件系统 + 通知机制1.2 Zookeeper的特点
复制链接

扫一扫