一篇文章搞定大数据Zookeeper，让你少走很多弯路_zookeeper version-2目录很大

最新推荐文章于 2024-07-13 16:31:49 发布

2401_84586572

最新推荐文章于 2024-07-13 16:31:49 发布

阅读量882

点赞数 10

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84586572/article/details/138693822

版权

程序员专栏收录该内容

58 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

initLimit =10：LF初始通信时限

集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

syncLimit =5：LF同步通信时限

集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

dataDir：数据文件目录+数据持久化路径

主要用于保存Zookeeper中的数据。

clientPort =2181：客户端连接端口

监听客户端连接的端口。

第3章 Zookeeper实战

3.1 分布式安装部署

集群规划

在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。

配置服务器编号

（1）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件

[zhangyong@hadoop101 zkData]$ touch myid

（2）编辑myid文件

[zhangyong@hadoop101 zkData]$ vi myid

在文件中添加与server对应的编号：

配置zoo.cfg文件

（1）打开zoo.cfg文件

[zhangyong@hadoop101 conf]$ vim zoo.cfg

修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.4.10/zkData
##增加如下配置
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888

配置/opt/module/zookeeper-3.4.10/bin下的zkEnv.sh文件

（1）配置JDK环境变量（不是必须的）

export JAVA_HOME=/opt/module/jdk1.8.0_181

（2）在57行配置日志文件地址：

 ZOO_LOG_DIR="/opt/module/zookeeper-3.4.10/logs"

把配置好的hadoop101分发到hadoop102、hadoop103中，并且更改myid的编号分别为2、3

[zhangyong@hadoop101 module]$ xsync zookeeper-3.4.10/
[zhangyong@hadoop102 zkData]$ echo 2 > myid
[zhangyong@hadoop103 zkData]$ echo 3 > myid

配置参数解读

server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

B是这个服务器的地址；

C是这个服务器Follower与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
7. 集群操作

（1）分别启动Zookeeper：

先启动一台并查看状态：

[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
[zhangyong@hadoop101 zookeeper-3.4.10]$ jps
1520 QuorumPeerMain
1576 Jps

由上面结果显示可知：zookeeper启动起来了，但是状态错误，因为我们说过集群的zookeeper必须启动台数的一般以上才可以。我们继续启动其他机子再来查看：

（2）启动其他的zookeeper：

[zhangyong@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[zhangyong@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[zhangyong@hadoop102 zookeeper-3.4.10]$ jps
1607 QuorumPeerMain
1676 Jps

[zhangyong@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[zhangyong@hadoop103 zookeeper-3.4.10]$
[zhangyong@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[zhangyong@hadoop103 zookeeper-3.4.10]$ jps
1858 Jps
1795 QuorumPeerMain

由此：zookeeper集群启动完成。

3.2 常用的客户端命令行操作（增删改查）

命令基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建 -s 含有序列 -e 临时（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点

启动客户端

[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkCli.sh

2．显示所有操作命令

[zk: localhost:2181(CONNECTED) 1] help

3．查看当前znode中所包含的内容

[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper]

4．查看当前节点详细数据

[zk: localhost:2181(CONNECTED) 3] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0

5．分别创建2个普通节点

[zk: localhost:2181(CONNECTED) 3] create /zhangyong "hahaha"
Created /zhangyong
[zk: localhost:2181(CONNECTED) 4] create /zhangyong/zhangsan "lisi"
Created /zhangyong/zhangsan

6．获得节点的值

[zk: localhost:2181(CONNECTED) 5] get /zhangyong
hahaha
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000003
mtime = Wed Aug 29 00:03:23 CST 2018
pZxid = 0x100000004
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 1

[zk: localhost:2181(CONNECTED) 6] get /zhangyong/zhangsan
lisi
cZxid = 0x100000004
ctime = Wed Aug 29 00:04:35 CST 2018
mZxid = 0x100000004
mtime = Wed Aug 29 00:04:35 CST 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

7．创建短暂节点

[zk: localhost:2181(CONNECTED) 7] create -e /zhangyong/zhangsan "zhang"
Created /zhangyong/zhangsan

（1）在当前客户端是能查看到的

[zk: localhost:2181(CONNECTED) 3] ls /zhangyong 
[zhangsan, zhangsan]

（2）退出当前客户端然后再重启客户端

[zk: localhost:2181(CONNECTED) 12] quit
[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkCli.sh

（3）再次查看根目录下短暂节点已经删除

[zk: localhost:2181(CONNECTED) 0] ls /zhangyong
[zhangyong]

8．创建带序号的节点

（1）先创建一个普通的根节点/zhangyong/weiguo

[zk: localhost:2181(CONNECTED) 1] create /zhangyong/weiguo "caoyu"
Created /zhangyong/weiguo

（2）创建带序号的节点

[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002

如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。

9．修改节点数据值

[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

10．节点的值变化监听

（1）在hadoop104主机上注册监听/sanguo节点数据变化

[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

（2）在hadoop103主机上修改/sanguo节点的数据

[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

（3）观察hadoop103主机收到数据变化的监听

WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

11．节点的子节点变化监听（路径变化）

（1）在hadoop103主机上注册监听/sanguo节点的子节点变化

[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
[aa0000000001, server101]

（2）在hadoop102主机/sanguo节点上创建子节点

[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin

（3）观察hadoop103主机收到子节点变化的监听

WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

12．删除节点

[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

13．递归删除节点

[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

14．查看节点状态

[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1

3.3 API应用

IDEA环境搭建一个Maven工程
添加pom文件

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <version>2.8.2</version>
    </dependency>
    <!-- zookeeper3.4.10 -->
    <dependency>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
      <version>3.4.10</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>compile</scope>
    </dependency>
  </dependencies>

拷贝log4j.properties文件到项目根目录

需要在项目的resources目录下，创建“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

编写Java代码

/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class zkCli {
    private static String connectString = "hadoop101:2181,hadoop102:2181,hadoop103:2181";
    private static int sessionTimeout = 2000;
    private ZooKeeper zkClient = null;

    /\*\*
 \* 创建ZooKeeper客户端
 \* @throws Exception
 \*/
    public void init() throws Exception {
        zkClient = new ZooKeeper (connectString, sessionTimeout, new Watcher () {
            @Override
            public void process(WatchedEvent event) {
                // 收到事件通知后的回调函数（用户的业务逻辑）
                System.out.println (event.getType () + "--" + event.getPath ());
                // 再次启动监听
                try {
                    zkClient.getChildren ("/", true);
                } catch (Exception e) {
                    e.printStackTrace ();
                }
            }
        });
    }

    /\*\*
 \* 创建子节点
 \* @throws Exception
 \*/
    @Test
    public void create() throws Exception {
        // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
        String nodeCreated = zkClient.create ("/zhangyong", "zhangrui".getBytes (), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

    /\*\*
 \* 获取子节点并监听节点变化
 \* @throws Exception
 \*/
    @Test
    public void getChildren() throws Exception {
        List<String> children = zkClient.getChildren ("/", true);
        for (String child : children) {
            System.out.println (child);
        }
        // 延时阻塞
        Thread.sleep (Long.MAX_VALUE);
    }

    /\*\*
 \* 判断znode是否存在
 \* @throws Exception
 \*/
    @Test
    public void exist() throws Exception {
        Stat stat = zkClient.exists("/zhangyong", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }
    
}

3.4 监听服务器节点动态上下线案例（扩展）

需求

某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。
客户端能实时洞察到服务器上下线的变化

具体实现

（1）先在集群上创建/servers节点

[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers

（2）服务器端向Zookeeper注册代码

package com.zhangyong.zookeeper;
/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class DistributeServer {
    private static String connectString = "hadoop101:2181,hadoop102:2181,hadoop103:2181";
    private static int sessionTimeout = 2000;
    private ZooKeeper zk = null;
    private String parentNode = "/servers";
    // 创建到zk的客户端连接
    public void getConnect() throws IOException {
        zk = new ZooKeeper (connectString, sessionTimeout, new Watcher () {
            @Override
            public void process(WatchedEvent event) {
            }
        });
    }
    // 注册服务器
    public void registServer(String hostname) throws Exception {
        String create = zk.create (parentNode + "/server", hostname.getBytes (), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        System.out.println (hostname + " is online " + create);
    }
    // 业务功能
    public void business(String hostname) throws Exception {
        System.out.println (hostname + " is working ...");
        Thread.sleep (Long.MAX_VALUE);
    }
    public static void main(String[] args) throws Exception {
	// 1获取zk连接
        DistributeServer server = new DistributeServer ();
        server.getConnect ();
        // 2 利用zk连接注册服务器信息
        server.registServer (args[0]);
        // 3 启动业务功能
        server.business (args[0]);
    }
}

（2）客户端代码

/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class DistributeClient {



![img](https://img-blog.csdnimg.cn/img_convert/efae0036d19cda3a5a6bd3671af2fcfc.png)
![img](https://img-blog.csdnimg.cn/img_convert/3c4603b4f5b2276b22214ef12827cc60.png)
![img](https://img-blog.csdnimg.cn/img_convert/477ff273a4b5f31b1d096b18c98aaea4.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

    DistributeServer server = new DistributeServer ();
        server.getConnect ();
        // 2 利用zk连接注册服务器信息
        server.registServer (args[0]);
        // 3 启动业务功能
        server.business (args[0]);
    }
}

（2）客户端代码

/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class DistributeClient {



[外链图片转存中...(img-cYpnAab3-1715376340861)]
[外链图片转存中...(img-1hU4yQA2-1715376340861)]
[外链图片转存中...(img-O5odZiyK-1715376340861)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

2401_84586572

关注

10
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
一篇文章搞定大数据Zookeeper，让你少走很多弯路_zookeeper version-2目录很大

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
复制链接

扫一扫