浅析ZooKeeper

最新推荐文章于 2024-05-05 11:52:04 发布

Apache呀

最新推荐文章于 2024-05-05 11:52:04 发布

阅读量514

点赞数

文章标签： java-zookeeper zookeeper java

本文链接：https://blog.csdn.net/weixin_45017098/article/details/130474233

版权

Zookeeper是一个分布式的开源协调服务，它可以用于管理大型分布式系统中的配置信息、命名服务、分布式锁、分布式队列等。Zookeeper可以提供高可用性和高性能，使得分布式系统中的各个节点可以协调工作，以确保系统的正确性和可靠性。

节点的创建与监控

Zookeeper的一个重要概念是znode，它是Zookeeper中的一个数据节点，类似于文件系统中的目录或文件。Zookeeper中的znode有三种类型：永久节点、临时节点和顺序节点。

永久节点：永久节点在创建后一直存在，直到被主动删除。永久节点的创建可以是同步的或异步的，可以设置节点数据，也可以不设置数据。
临时节点：临时节点在创建它的客户端与Zookeeper服务器之间的连接断开后会被自动删除。临时节点的创建必须是同步的，可以设置节点数据，也可以不设置数据。
顺序节点：顺序节点是在节点名称后附加一串数字序列而创建的节点。节点名称的数字序列是Zookeeper自动维护的，保证了节点名称的唯一性。顺序节点可以是永久节点或临时节点。

Zookeeper提供了监控节点的能力，使得用户可以实时查看节点的状态信息。Zookeeper监控节点的方法包括两种：Watcher机制和Stat数据。

Watcher机制：当一个znode的状态发生变化时，Zookeeper会通知所有与之关联的Watcher实例。Watcher机制可以用于实现分布式锁、分布式队列等分布式应用场景。
Stat数据：每个znode都有一个关联的Stat数据，它记录了znode的元数据信息，如创建时间、修改时间、版本号等。用户可以通过查询Stat数据来监控znode的状态信息。

利用Java API创建节点

当使用Zookeeper操作节点时，可以使用ZooKeeper Java API来实现。以下是Java API中创建永久节点、临时节点和顺序节点的示例代码：

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;

public class ZooKeeperExample {
  	/**
  	我们使用了ZooKeeper的CreateMode枚举类，来指定节点的类型。
  	例如，CreateMode.PERSISTENT表示创建永久节点，
  	CreateMode.EPHEMERAL表示创建临时节点，
  	CreateMode.PERSISTENT_SEQUENTIAL表示创建顺序节点。
  	*/
    private static final int SESSION_TIMEOUT = 3000;
    private static final String CONNECTION_STRING = "localhost:2181";
    private static final String ZNODE_PATH = "/example";

    public static void main(String[] args) throws Exception {
        ZooKeeper zk = new ZooKeeper(CONNECTION_STRING, SESSION_TIMEOUT, null);

        // 创建永久节点
        zk.create(ZNODE_PATH, "example data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

        // 创建临时节点
        zk.create(ZNODE_PATH + "/temp", "temp data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);

        // 创建顺序节点
        zk.create(ZNODE_PATH + "/seq", "seq data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL);

        zk.close();
    }
}

以下是Java API中监控节点的状态信息的示例代码：

import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;

public class ZooKeeperExample {
  	/** 
  	我们使用了ZooKeeper的exists()方法来监控节点的状态信息。
  	当节点发生变化时，Watcher实例会被触发，
  	process()方法会被调用。
  	在我们的示例中，
  	我们直接在Watcher的process()方法中输出了节点发生变化的信息。
  	*/
    private static final int SESSION_TIMEOUT = 3000;
    private static final String CONNECTION_STRING = "localhost:2181";
    private static final String ZNODE_PATH = "/example";

    public static void main(String[] args) throws Exception {
        ZooKeeper zk = new ZooKeeper(CONNECTION_STRING, SESSION_TIMEOUT, null);
        Stat stat = zk.exists(ZNODE_PATH, new Watcher() {
            public void process(WatchedEvent event) {
                System.out.println("Node " + event.getPath() + " has changed");
            }
        });
        if (stat != null) {
            byte[] data = zk.getData(ZNODE_PATH, false, null);
            System.out.println("Node " + ZNODE_PATH + " data: " + new String(data));
        } else {
            System.out.println("Node " + ZNODE_PATH + " does not exist");
        }
    }
}

除了使用Watcher机制来监控节点的状态信息，我们还可以使用ZooKeeper的getData()方法来查询节点的Stat数据，并监控节点数据的变化。例如：

/**
我们使用了ZooKeeper的getData()方法来查询节点的数据，
并指定了一个Watcher实例。当节点的数据发生变化时，
Watcher实例会被触发，process()方法会被调用，
并输出节点数据发生变化的信息。
*/
byte[] data = zk.getData(ZNODE_PATH, new Watcher() {
    public void process(WatchedEvent event) {
        System.out.println("Node " + event.getPath() + " data has changed");
    }
}, null);
System.out.println("Node " + ZNODE_PATH + " data: " + new String(data));

命令行工具创建节点

当使用Zookeeper操作节点时，可以使用ZooKeeper提供的命令行工具zkCli.sh或者zkCli.bat来实现。以下是使用命令行工具创建永久节点、临时节点和顺序节点的示例命令：

# 在ZooKeeper中，可以使用create命令来创建一个新的节点。具体的Shell命令语法如下：
create [-s] [-e] path data acl
其中各个参数的含义如下：
-s 表示创建一个顺序节点，节点名称会自动添加一个数字后缀，节点名称不能重复。
-e 表示创建一个临时节点，当创建该节点的客户端与ZooKeeper服务器断开连接时，该节点会被自动删除。
path 表示节点的路径信息，必须以/开头。
data 表示节点的数据信息，可以为空。
acl 表示节点的访问控制列表，用于控制节点的访问权限。
# 例如，如果要在ZooKeeper中创建一个名称为/test的节点，并且设置节点的数据为hello world，可以使用以下命令：
create /test "hello world"
执行以上命令后，ZooKeeper会创建一个名称为/test的节点，并且将节点的数据设置为hello world。
# 如果要创建一个临时节点，可以添加-e参数，例如：
create -e /test "hello world"
执行以上命令后，ZooKeeper会创建一个名称为/test的临时节点，并且将节点的数据设置为hello world。

创建永久节点：

create /example example_data

创建临时节点：

create -e /example/temp temp_data

创建顺序节点：

create -s /example/seq seq_data

在以上命令中，create是ZooKeeper命令，/example是节点的路径，example_data、temp_data和seq_data是节点的数据。使用-e选项来创建临时节点，使用-s选项来创建顺序节点。

监控节点的状态信息

在ZooKeeper中，可以使用get命令来获取节点的数据和元数据，其中包括节点的版本号信息。具体的Shell命令语法如下：

get path [watch]
get /example watch

其中各个参数的含义如下：

path 表示要获取数据的节点路径信息，必须以/开头。
watch 表示是否添加数据变更的Watcher，可以省略。

在以上命令中，get是ZooKeeper命令，/example是节点的路径，watch是一个可选的参数，用于监控节点的状态信息。当节点的状态发生变化时，zkCli会输出节点的最新数据信息。

如果需要在节点数据发生变化时得到通知，可以添加watch参数。例如：

get /test true # 这样，当节点的数据发生变化时，ZooKeeper会发送通知到客户端。

除了使用get命令来监控节点的状态信息，我们还可以使用stat命令来查询节点的Stat数据，并监控节点数据的变化。例如：

stat /example

在以上命令中，stat是ZooKeeper命令，/example是节点的路径。

该命令将输出节点的元数据信息:

cZxid = 0x100000001 # 节点的创建事务ID
ctime = Tue May 04 23:23:23 CST 2021
mZxid = 0x100000001 # 节点数据的最后修改事务ID
mtime = Tue May 04 23:23:23 CST 2021
pZxid = 0x100000001
cversion = 0 # 子节点的版本号
dataVersion = 0 # 点数据的版本号
aclVersion = 0 # 节点ACL的版本号
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0

如果我们想要监控节点数据的变化，可以在get命令中加上watch参数，例如：

get /example watch

以上命令将会输出节点的最新数据，并在节点数据发生变化时输出最新的节点数据信息。

总的来说，使用命令行工具创建节点和监控节点的状态信息非常方便，可以在终端中直接操作，也无需编写程序。

在ZooKeeper中删除节点可以使用命令行工具zkCli提供的delete命令来实现。以下是使用命令行工具删除永久节点、临时节点和顺序节点的示例命令：

删除永久节点：

delete /example

删除临时节点：

delete /example/temp

删除顺序节点：

delete /example/seq0000000001

在以上命令中，delete是ZooKeeper命令，/example、/example/temp和/example/seq0000000001是要删除的节点的路径。使用delete命令删除节点时，如果节点存在子节点，需要使用-r选项来递归删除子节点，例如：

delete -r /example

在以上命令中，-r选项表示递归删除节点及其子节点。

需要注意的是，删除节点时需要确保该节点没有被其他客户端或程序使用，否则可能会导致数据丢失或应用程序出现异常。因此，在删除节点之前应该先停止所有依赖该节点的应用程序。

修改节点信息

在ZooKeeper中，可以使用set命令来修改一个已经存在的节点的数据。具体的Shell命令语法如下：

set path data [version]

其中各个参数的含义如下：

path 表示要修改的节点的路径信息，必须以/开头。
data 表示要设置的新的节点数据。
version 表示要修改的节点的版本号，如果省略该参数，则默认使用最新的版本号。

例如，如果要将名称为/test的节点的数据修改为hello world，可以使用以下命令：

set /test "hello world"

执行以上命令后，ZooKeeper会将名称为/test的节点的数据修改为hello world。如果要修改一个指定版本的节点数据，可以使用以下命令：

set /test "hello world" 1

执行以上命令后，ZooKeeper会将名称为/test的节点的数据修改为hello world，并且版本号为1。

需要注意的是，如果在修改节点数据的过程中，节点的版本号与当前版本号不一致，ZooKeeper会抛出KeeperException$BadVersionException异常。因此，在修改节点数据时，需要先获取当前节点的版本号，然后再根据版本号进行修改。

节点权限

ZooKeeper可以通过ACL（Access Control List，访问控制列表）来控制节点的访问权限。ACL可以在创建节点时指定，也可以在后续修改ACL来更新节点的访问权限。ZooKeeper支持以下两种类型的ACL：

world ACL：表示所有客户端都可以访问该节点。
auth ACL：表示只有经过身份验证的客户端才可以访问该节点。

例如，可以使用以下命令来创建一个名为/test的节点，并将ACL设置为world ACL：

create /test "hello world" world:anyone:rw

以上命令中，world:anyone:rw表示所有客户端都可以读写/test节点。

可以使用以下命令来修改节点的ACL：

setAcl /test auth:myuser:password:cdrwa

以上命令中，auth:myuser:password:cdrwa表示只有经过身份验证的客户端myuser才可以进行读、写、创建、删除和ACL修改操作。

共享锁

ZooKeeper的共享锁是一种分布式锁，它可以协调多个客户端请求，确保在同一时刻只有一个客户端能够执行关键代码段。共享锁通过ZooKeeper的临时顺序节点来实现，每个客户端在ZooKeeper上创建一个临时顺序节点，同时监视前一个节点的状态，当前一个节点被删除时，该客户端就可以获得锁。

以下是一个共享锁的示例场景：

假设我们有一个分布式系统，有多个客户端需要访问共享资源，为了避免不同客户端同时访问该资源，我们需要使用共享锁来协调客户端请求。

客户端A通过ZooKeeper创建一个临时顺序节点/lock，并监视比它小的节点状态。

create -e -s /lock/lock- "A" 
ls /lock
watch /lock/lock-0000000000

客户端B通过ZooKeeper创建一个临时顺序节点/lock，并监视比它小的节点状态。

create -e -s /lock/lock- "B"
ls /lock
watch /lock/lock-0000000000

客户端C通过ZooKeeper创建一个临时顺序节点/lock，并监视比它小的节点状态。

create -e -s /lock/lock- "C"
ls /lock
watch /lock/lock-0000000001

当前节点状态为：

/lock/lock-0000000000 : A 
/lock/lock-0000000001 : B 
/lock/lock-0000000002 : C

客户端A检查比它小的节点状态，发现没有比它小的节点，它获得了锁。
客户端B检查比它小的节点状态，发现它前面有一个节点A，它等待锁。
客户端C检查比它小的节点状态，发现它前面有两个节点A和B，它等待锁。
当客户端A完成任务后，释放锁，客户端B和客户端C均会收到ZooKeeper的通知，开始竞争锁。
当客户端B获得锁时，客户端C仍在等待锁。

通过上述示例可以看出，ZooKeeper的共享锁可以确保在同一时刻只有一个客户端能够获得锁，其他客户端需要等待前面的客户端释放锁后才能获得锁。共享锁可以用于解决分布式系统中的并发问题和资源竞争问题，确保系统的正确性和可靠性。

与Yarn

ZooKeeper是一个分布式协调服务，它的主要作用是在分布式系统中协调各个节点的状态信息，包括数据的发布/订阅、配置管理、分布式锁、分布式队列等。在分布式系统中，各个节点需要共同协作来完成任务，ZooKeeper可以作为分布式系统的协调者，确保各个节点之间的协作顺利进行。

ZooKeeper的主要特点是高可用、高性能、数据一致性强、支持多种编程语言等。它可以支持大规模的分布式系统，能够快速处理海量数据和高并发请求，保证数据的一致性和可靠性。

相比之下，YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一个资源管理框架，它的主要作用是管理分布式系统中的资源分配和任务调度。YARN可以将整个Hadoop集群作为一个资源池，按照用户和应用程序的需求来分配资源，并负责任务的监控和调度。

YARN的主要特点是高可用、高性能、支持多种编程语言等。它可以支持大规模的分布式系统，能够快速处理海量数据和高并发请求，保证数据的一致性和可靠性。

从功能上来说，ZooKeeper和YARN有所不同，ZooKeeper主要用于分布式系统的协调和管理，而YARN主要用于资源管理和任务调度。然而，它们都是Hadoop生态系统中的重要组件，可以协同工作，提高Hadoop集群的效率和可靠性。

Zookeeper是如何实现调节各个节点的信息的

ZooKeeper是通过ZAB（ZooKeeper Atomic Broadcast）协议实现对各个节点的状态信息进行调节的。

ZAB协议是ZooKeeper的核心协议之一，它主要用于保证ZooKeeper集群内各个节点之间数据的一致性。ZAB协议将ZooKeeper集群中的所有节点划分为两类：Leader节点和Follower节点。Leader节点负责处理客户端请求，并将处理结果广播给所有Follower节点，Follower节点负责接收广播信息并更新自己的状态。在ZAB协议中，每个节点都有一个编号（ZXID），用于表示节点处理的事务序列号，保证节点之间处理的事务序列是有序的。

当一个客户端向ZooKeeper发送请求时，它会将请求发送给Leader节点。Leader节点接收到请求后，会将请求转发给所有Follower节点，并等待Follower节点的反馈。当大多数Follower节点都反馈收到了该请求，并且Leader节点自己也确认了这个请求的处理结果后，该请求才会被认为是已经提交的，其结果将被广播给所有Follower节点，以保证集群中各个节点之间数据的一致性。

除了以上描述的基本流程外，ZAB协议还包括选举机制、数据恢复机制、崩溃恢复机制等，用于保证ZooKeeper集群的高可用性和数据的完整性。

总之，ZooKeeper是通过ZAB协议来实现对各个节点的状态信息进行调节的，保证了数据的一致性和可靠性。

选举机制、数据恢复机制、崩溃恢复机制

ZooKeeper的选举机制、数据恢复机制和崩溃恢复机制是保证其高可用性的重要机制。

选举机制

在ZooKeeper集群中，每个节点都有可能成为Leader节点，如果当前的Leader节点发生崩溃或者网络故障，集群需要重新选举一个新的Leader节点来处理客户端请求。ZooKeeper的选举机制是基于ZAB协议实现的，选举过程分为两个阶段：

阶段一：发现 Leader 节点崩溃。当某个Follower节点发现Leader节点崩溃后，它会向其他Follower节点发送消息，发起选举过程。
阶段二：选举 Leader 节点。在选举过程中，每个节点会先投自己一票，然后向其他节点发送投票请求。当某个节点收到了大多数节点的投票后，它就被选举为新的Leader节点。

数据恢复机制

在ZooKeeper集群中，每个节点都保存有数据的副本，当某个节点出现故障时，需要进行数据恢复来保证数据的完整性。ZooKeeper的数据恢复机制是基于ZAB协议实现的，主要包括两种恢复方式：

从Leader节点同步数据。当某个Follower节点发现自己的数据与Leader节点不一致时，它会向Leader节点请求同步数据，Leader节点会将最新的数据发送给该Follower节点。
从磁盘中恢复数据。当某个节点重新启动时，它会从磁盘中加载已经持久化的数据，以恢复自己的状态。

崩溃恢复机制

在ZooKeeper集群中，当某个节点发生崩溃时，需要进行崩溃恢复来重新启动节点并恢复其状态。ZooKeeper的崩溃恢复机制是基于ZAB协议实现的，主要包括以下步骤：

恢复内存数据。当节点重新启动时，它会从磁盘中加载已经持久化的数据，并将其恢复到内存中。
恢复网络连接。当节点重新启动时，它会重新连接到集群中的其他节点，并同步最新的数据。
恢复角色状态。当节点重新启动时，它会根据当前的状态判断自己是Leader节点还是Follower节点，并继续处理客户端请求。

总之，ZooKeeper的选举机制、数据恢复机制和崩溃恢复机制是保证其高可用性的重要机制，通过这些机制可以保证ZooKeeper集群的高可靠性和数据的完整性。

配置信息、命名服务、分布式锁、分布式队列

ZooKeeper是一个分布式协调服务，它的主要作用是在分布式系统中协调各个节点的状态信息，包括数据的发布/订阅、配置管理、分布式锁、分布式队列等。

具体来说，ZooKeeper管理大型分布式系统中的配置信息、命名服务、分布式锁、分布式队列等的过程如下：

配置管理

在分布式系统中，配置信息通常需要在各个节点之间进行同步，以确保各个节点使用的是相同的配置。ZooKeeper可以作为一个配置中心，负责管理分布式系统的配置信息。具体来说，开发人员可以将各个节点的配置信息存储在ZooKeeper中，并利用ZooKeeper提供的监听机制来实现配置信息的自动更新。

命名服务

在分布式系统中，节点的地址和名称通常需要进行统一管理，以便各个节点之间进行通信。ZooKeeper可以作为一个命名服务，负责管理分布式系统中节点的地址和名称信息。具体来说，开发人员可以将节点的地址和名称信息存储在ZooKeeper中，并利用ZooKeeper提供的监听机制来实现地址和名称信息的自动更新。

分布式锁

在分布式系统中，各个节点之间需要协同工作来完成任务，但是节点之间的并发访问可能会引发数据的一致性问题。ZooKeeper可以作为一个分布式锁服务，提供分布式锁机制来保证节点之间的并发访问的互斥性。具体来说，开发人员可以利用ZooKeeper提供的节点创建和删除机制来实现分布式锁的获取和释放。

分布式队列

在分布式系统中，任务的调度通常需要使用分布式队列来管理任务队列。ZooKeeper可以作为一个分布式队列服务，提供分布式队列机制来管理任务队列。具体来说，开发人员可以利用ZooKeeper提供的节点创建和删除机制来实现任务队列的添加和删除。

Zookeeper的应用场景非常广泛，例如Hadoop、Kafka、HBase等分布式系统都使用了Zookeeper来管理配置信息、命名服务、分布式锁等。Zookeeper的出现是为了解决分布式系统中的数据一致性问题和节点协调问题，使得分布式系统可以更加稳定和可靠。

Apache呀

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
浅析ZooKeeper

Zookeeper是一个分布式的开源协调服务，它可以用于管理大型分布式系统中的配置信息、命名服务、分布式锁、分布式队列等。Zookeeper可以提供高可用性和高性能，使得分布式系统中的各个节点可以协调工作，以确保系统的正确性和可靠性。
复制链接

扫一扫