zookeeper学习笔记

最新推荐文章于 2023-11-14 00:12:25 发布
最新推荐文章于 2023-11-14 00:12:25 发布
阅读量166 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45732538/article/details/109004034
版权

在这里插入图片描述

zookeep的安装

这里使用学校的云主机演示：

  1. 安装JDK
  2. 关闭防火墙
    service iptables stop
    chkconfig iptables off
  3. 上课阶段，要求所有的框架都安装/home/software
    cd /home/software/
  4. 下载Zookeeper安装包 - 云主机只能下载禁止上传
    wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/zookeeper-3.4.8.tar.gz
  5. 解压
    tar -xvf zookeeper-3.4.8.tar.gz
  6. 进入安装目录的子目录conf下
    cd zookeeper-3.4.8/conf
  7. 复制
    cp zoo_sample.cfg zoo.cfg
  8. 编辑
    vim zoo.cfg
    修改
    dataDir=/home/software/zookeeper-3.4.8/tmp
  9. 进入安装的子目录bin下
    cd …/bin
  10. 启动Zookeeper
    sh zkServer.sh start
  11. 通过jps查看出现了QuorumPeerMain表示Zookeeper启动了
  12. 查看状态
    sh zkServer.sh status
    如果出现Mode:standalone表示启动成功
    如果启动失败，查看zookeeper.out，从这个文件中找出启动失败的原因

基本理论

在这里插入图片描述

每个节点上可以挂载不同类别的服务器。
在这里插入图片描述
启动客户端的命令：进入bin目录下，输入sh zkCli.sh

相关命令

在这里插入图片描述

节点属性/节点信息

一个节点刚创建的时候，cZxid/mZxid/pZxid三者是一致的
事务id是全局递增的，可以理解为是整个过程第几个写操作
在这里插入图片描述

节点类型

因为zookeeper中不支持同名文件，所以如果设置成添加顺序节点就表示再添加节点的时候会自动在节点名上添加一个随机值。
在这里插入图片描述

使用代码操作zookeeper

新建项目添加如下依赖

 <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.10</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.1</version>
        </dependency>
    </dependencies>

使用代码连接zk，并创建删除添加节点

package cn.tedu.zookeeper;

import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.List;
import java.util.concurrent.CountDownLatch;

public class ZookeeperDemo1 {

    private ZooKeeper zk;

    // 连接Zookeeper
    @Before
    public void connect() throws IOException, InterruptedException {

        // connectString - 连接IP+端口
        // sessionTimeout - 会话超时时间，单位默认为毫秒
        // watcher - 监控者，用于监控连接是否建立
        // Zookeeper底层是依靠Netty来实现连接过程
        // Netty基于NIO来实现的异步非阻塞的通信框架
        // Zookeeper发起连接，是一个单独的任务 - 单独的一个线程
        // @Test表示会把当前的方法放到一个单独的测试线程类中执行
        // 非阻塞：无论连上还连不上，都会继续往下执行
        // 异步：Zookeeper可能还在连接过程中，测试线程就可以抢占资源往下执行
        CountDownLatch cdl = new CountDownLatch(1);
        zk = new ZooKeeper("192.168.64.12:2181", // 写自己的云主机IP
                5000, // 会话超时时间为5s，现阶段这个值在4000~40000
                event -> {//使用lambda表达式定义的一个方法，用于判断监听连接是否建立
                    // 判断连接是否建立
                    if (event.getState() == Watcher.Event.KeeperState.SyncConnected)
                        System.out.println("连接建立~~~");
                    cdl.countDown();
                }
        );
        // 在上述连接过程建立完成之前，测试线程即使抢到了也需要阻塞
        cdl.await();
        System.out.println("finish");

    }

    // 创建节点
    @Test
    public void createNode() throws KeeperException, InterruptedException {
        // String path - 节点路径
        // data - 节点数据
        // acl - 权限策略，这里使用的权限表示：创建，读取，删除都可以
        // createMode - 节点类型
        // 返回值表示节点的名字
        String name = zk.create("/log", "log servers".getBytes(),
                ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println(name);
    }

    // 修改数据
    @Test
    public void setData() throws KeeperException, InterruptedException {
        // 第三个参数version - 版本 -> dataVersion - 数据版本    因为每修改一次这里的版本就会增加1，
        // 所以它存在的意义是防止线程并发产生误操作。在修改数据的时候，会校验这个version和dataVersion是否一致
        // 如果不一致，则直接报错；只有版本一致才能修改
        // 如果需要忽略版本校验，那么将version的值改为-1
        // 返回值表示节点信息/属性
        // Stat s = zk.setData("/log", "log management".getBytes(), -1);
        zk.setData("/log", "log management".getBytes(), 3);
    }

    // 获取数据
    @Test
    public void getData() throws KeeperException, InterruptedException {
        // 需要节点属性
        // Stat s = new Stat();
        // byte[] data = zk.getData("/log", null, s);
        // 不需要节点属性
        byte[] data = zk.getData("/log", null, null);
        System.out.println(new String(data));
    }

    // 获取子节点
    @Test
    public void getChildren() throws KeeperException, InterruptedException {
        // 将子节点的节点名放到一个List中返回
        List<String> ps = zk.getChildren("/", null);
        for (String p : ps) {
            System.out.println(p);
        }
    }

    // 删除节点
    @Test
    public void deleteNode() throws KeeperException, InterruptedException {
        zk.delete("/log", -1);
    }

    // 判断节点是否存在
    @Test
    public void exist() throws KeeperException, InterruptedException {
        // 如果节点存在，则返回节点信息
        // 如果节点不存在，则返回null
        Stat s = zk.exists("/log", null);
        System.out.println(s);
    }
    
}

监控节点，执行相关业务

package cn.tedu.zookeeper;

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.concurrent.CountDownLatch;

public class ZookeeperDemo2 {

    private ZooKeeper zk;

    // 连接Zookeeper
    @Before
    public void connect() throws IOException, InterruptedException {
        CountDownLatch cdl = new CountDownLatch(1);
        zk = new ZooKeeper("10.9.162.133:2181", 5000,
                e -> {
                    if (e.getState() == Watcher.Event.KeeperState.SyncConnected)
                        System.out.println("连接成功~~~");
                    cdl.countDown();
                });
        cdl.await();
    }

    // 监控节点的数据是否改变
    @Test
    public void dataChanged() throws KeeperException, InterruptedException {
        // Zookeeper的所有的请求都是通过Netty完成的
        // 这边还在监控过程中，另一边测试线程就可以抢占执行权执行
        CountDownLatch cdl = new CountDownLatch(1);
        zk.getData("/log", e -> {
            if (e.getType() == Watcher.Event.EventType.NodeDataChanged)
                // 实际开发中，实际上需要记录日志(IP，时间，原来的数据，新的数据等)
                System.out.println("节点数据被改变了！！！");
            cdl.countDown();
        }, null);
        // 在上面的线程监控到数据改变之前，当前的测试线程需要阻塞不能结束
        cdl.await();
        System.out.println("finish");
    }

    // 监控子节点个数变化
    @Test
    public void childrenChanged() throws KeeperException, InterruptedException {
        CountDownLatch cdl = new CountDownLatch(1);
        zk.getChildren("/log", e -> {
            if (e.getType() == Watcher.Event.EventType.NodeChildrenChanged)
                System.out.println("子节点个数发生改变！！！");
            cdl.countDown();
        });
        cdl.await();
    }

    // 监控节点的增删
    @Test
    public void nodeChanged() throws KeeperException, InterruptedException {
        CountDownLatch cdl = new CountDownLatch(1);
        zk.exists("/news", e -> {
            if (e.getType() == Watcher.Event.EventType.NodeCreated)
                System.out.println("节点被创建！！！");
            else if (e.getType() == Watcher.Event.EventType.NodeDeleted)
                System.out.println("节点被删除！！！");
            cdl.countDown();
        });
        cdl.await();
    }
}

zk完全分布式的搭建

  1. 三台云主机安装JDK
  2. 三台云主机关闭防火墙
  3. 在第一个节点上解压Zookeeper安装包
    tar -xvf zookeeper-3.4.8.tar.gz
  4. 进入安装目录的子目录conf下
    cd zookeeper-3.4.8/conf
  5. 复制
    cp zoo_sample.cfg zoo.cfg
  6. 编辑
    vim zoo.cfg
    修改
    dataDir=/home/software/zookeeper-3.4.8/tmp
    在文件尾部添加
    server.编号=IP:port1:port2
    例如
    server.1=10.9.162.133:2888:3888
    server.2=10.9.152.65:2888:3888
    server.3=10.9.130.83:2888:3888
  7. 在Zookeeper的安装目录下创建一个tmp
    cd …
    mkdir tmp
  8. 进入tmp
    cd tmp
  9. 编辑
    vim myid
  10. 回到software目录下
    cd /home/software/
  11. 远程拷贝
    scp -r zookeeper-3.4.8 root@10.9.152.65:/home/software/
    scp -r zookeeper-3.4.8 root@10.9.130.83:/home/software/
    云主机密码：tarena2017Up;
  12. 修改另外两个云主机的myid
    cd /home/software/zookeeper-3.4.8/tmp
    vim myid
  13. 三台云主机进入bin目录启动Zookeeper
    cd /home/software/zookeeper-3.4.8/bin
    sh zkServer.sh start
  14. 查看状态
    sh zkServer.sh status
    如果启动成功，那么应该出现1个leader+2个follower

选举机制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

myid是在配置文件中配置的值

脑裂

在zk集群中，出现多个leader的情况称之为
产生原因：1.集群产生分裂 2.裂完之后还进行了选举
例如：集群中有三个节点分裂出去了，但是他们不会进行选举，因为节点个数不足一半，同时因为节点个不足一半，会停止对外服务。

在这里插入图片描述
产生两个leader的原因如下边：有leader的一半被分裂出去了，同时有leader的集群不足一半，那么剩余节点会进行选举，产生一个新的老大
在这里插入图片描述

ZAB协议

在这里插入图片描述

qq_45732538
关注
Zookeeper学习笔记
m0_51233004的博客
12-03 839
Zookeeper学习笔记
搭建zookeeper集群 亲测有效 避免走坑
DynastyTing的专栏
07-07 1156
一．准备工作： ## 开启指定端口 firewall-cmd --zone=public --add-port=12181/tcp --permanent firewall-cmd --zone=public --add-port=12888/tcp --permanent firewall-cmd --zone=public --add-port=13888/tcp --permanent systemctl restart firewalld.service ## 重启防火墙 system
ZooKeeper学习笔记
Lizhj的博客
11-14 632
ZK学习笔记
zookeeper学习笔记(最全）
洛柒
11-30 2661
zookeeper学习笔记(最全） zookeeper解决并发问题——分布式锁
Zookeeper学习笔记.docx
03-27
ZooKeeper 学习笔记 ZooKeeper 是一个开源的分布式协调服务，由 Hadoop 的创始人 Doug Cutting 等人开发。它为分布式应用提供了一个高效、可靠的协调机制，帮助开发者快速构建高可用、可扩展的分布式系统。 ...
Zookeeper学习笔记.pdf
09-10
Zookeeper是一种重要的分布式协调服务，尤其在处理高可用性、高性能的应用场景中。它最初设计的核心功能是提供分布式锁服务，但随着社区的发展，Zookeeper的功能得到了扩展，现在还用于配置维护、组服务、分布式消息...
微信小程序Artandw_eapp-artand.zip
10-04
微信小程序Artandw_eapp-artand
基于Vue和JavaScript的心旅途个性化推荐旅游平台设计源码
10-04
本项目是一款基于Vue和JavaScript开发的心旅途个性化推荐旅游平台设计源码，整合了513个Java文件、76个PNG图片、70个XML配置文件、62个JavaScript文件、42个Vue组件文件、28个CSS样式文件、22个HTML文件、18个YAML配置文件、16个属性文件、11个Vue模板文件，总计919个文件。平台采用现代化前端技术堆栈，旨在为用户提供个性化的旅游推荐服务。
微信小程序开发地图演示、地图导航、标记标注_echat-weapp-mpdemo.zip
10-04
微信小程序开发地图演示、地图导航、标记标注_echat-weapp-mpdemo
Vue和Axios文件
最新发布
10-04
Vue和Axios文件
基于Python的HTML与任务清单关系系统设计源码
10-04
该项目为基于Python语言开发的HTML与任务清单关系系统，包含50个文件，其中16个为HTML文件，14个为Python源代码文件，其余包括Python编译文件、Markdown文件、图片、数据库文件、配置文件、模板文件、文本文件等，旨在为用户提供简单便捷的生活时间段安排及任务规划管理工具。
全国大学生电子设计大赛项目合集全国电赛优秀作品大学生电子竞赛历届题目
10-04
全国大学生电子设计大赛项目合集全国电赛优秀作品大学生电子竞赛历届题目
基于Python和pygame的植物大战僵尸游戏设计源码
10-04
该项目是一款基于Python和pygame引擎开发的植物大战僵尸游戏，包含125个文件，涵盖93个PNG图像文件、11个Python源代码文件、10个Python字节码文件、8个GIF动画文件、1个Git忽略配置文件、1个JSON数据文件以及1个Markdown说明文件。游戏设计源码为学习游戏开发提供了丰富的实践素材。
基于Java语言的Qiniu服务端设计源码整合RunFlow桌面端效率工具
10-04
本项目是一款以Java为核心开发的Qiniu服务端设计源码整合的RunFlow桌面端效率工具，总文件数29个，包括17个Java源文件、2个属性文件、1个Git忽略文件、1个JAR包文件、1个LICENSE文件、1个Markdown文件、1个YAML文件、1个Maven配置文件和1个命令文件。该工具旨在提升工作效率，适用于各种桌面环境下的便捷使用。
石家庄铁道大学在辽宁2020-2024各专业最低录取分数及位次表.pdf
10-04
那些年，与你同分同位次的同学都去了哪里？全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
Golang支付-微信公众号、微信应用、微信小程序、微信企业支付、支付宝网络版、支付宝应用、支付宝企业支付_支付宝.zip
10-04
Golang支付-微信公众号、微信应用、微信小程序、微信企业支付、支付宝网络版、支付宝应用、支付宝企业支付_支付宝
ZooKeeper笔记：配置、Java API和应用
"ZooKeeper笔记.pdf" ZooKeeper是 Apache 软件基金会下的一个开源项目，提供了一个分布式应用程序协调服务。它主要用来解决分布式系统中的数据一致性问题，提供了一个高可用、高性能、可扩展的解决方案。 **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值