Zookeeper

1 Zookeeper概述

1.1 什么是zookeeper

zookeeper是一个分布是开源框架，提供了协调分布式应用的基本服务，它向外部暴露了一组通用服务——分布式同步、命名服务、集群维护等。它主要是简化了分布式应用协调及其管理的难度。提供高性能的分布式服务。为别的分布式程序服务，本身就是一个分布式程序。

一般有这几个功能：发布订阅、负载均衡、分布式锁、分布式文件配置中心、master选举、分布式通知、分布式队列

1.2 数据结构

在zookeeper中，一般按照层次化的目录结构，类似树的数据结构一般。每个节点存放着该节点的名称和节点内容。

比如说在service-vonfig:http:.....这样，可想而知这个节点名称是不能重复的，不然岂不是有多个服务？每个节点又可以包含子节点，无线递增的方式创建节点。

一般来说节点分为：

持久节点：顾名思义，一旦创建这个节点后，如果zookeeper与客户端断开连接，该节点信息依然存在，因为他会会持久化到硬盘

持久顺序节点：首先她是一个持久化节点，创建时名称后附加一个值，这就是顺序号，该顺序号由父节点维护。

临时节点：和持久化节点相悖，就是客户端与zookeeper断开连接后，该节点会被删除。

临时顺序节点：临时节点+顺序号

在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

1.3 应用场景

1.3.1 发布订阅

就是发布者将数据发布到zookeeper节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息、服务式服务框架的服务地址列表等。

1.3.2 分布式锁

分布式锁，这个主要得益于 ZooKeeper 为我们保证了数据的强一致性。锁服务可以分为两类，一个是 保持独占，另一个是 控制时序。

1. 所谓保持独占，就是所有试图来获取这个锁的客户端，最终只有一个可以成功获得这把锁。通常的做法是把 zk 上的一个 znode 看作是一把锁，通过 create znode 的方式来实现。所有客户端都去创建 /distribute_lock 节点，最终成功创建的那个客户端也即拥有了这把锁。

2. 控制时序，就是所有视图来获取这个锁的客户端，最终都是会被安排执行，只是有个全局时序了。做法和上面基本类似，只是这里 /distributelock 已经预先存在，客户端在它下面创建临时有序节点（这个可以通过节点的属性控制：CreateMode.EPHEMERALSEQUENTIAL 来指定）。Zk 的父节点（/distribute_lock）维持一份 sequence, 保证子节点创建的时序性，从而也形成了每个客户端的全局时序。

1.3.3 集群管理与Master选举

1. 集群机器监控：这通常用于那种对集群中机器状态，机器在线率有较高要求的场景，能够快速对集群中机器变化作出响应。这样的场景中，往往有一个监控系统，实时检测集群机器是否存活。过去的做法通常是：监控系统通过某种手段（比如ping）定时检测每个机器，或者每个机器自己定时向监控系统汇报“我还活着”。 这种做法可行，但是存在两个比较明显的问题：

1. 集群中机器有变动的时候，牵连修改的东西比较多。

2. 有一定的延时。

利用ZooKeeper有两个特性，就可以实现另一种集群机器存活性监控系统：

1. 客户端在节点 x 上注册一个Watcher，那么如果 x?的子节点变化了，会通知该客户端。

2. 创建EPHEMERAL类型的节点，一旦客户端和服务器的会话结束或过期，那么该节点就会消失。

例如，监控系统在 /clusterServers 节点上注册一个Watcher，以后每动态加机器，那么就往 /clusterServers 下创建一个 EPHEMERAL类型的节点：/clusterServers/{hostname}. 这样，监控系统就能够实时知道机器的增减情况，至于后续处理就是监控系统的业务了。

2. Master选举则是zookeeper中最为经典的应用场景了。

在分布式环境中，相同的业务应用分布在不同的机器上，有些业务逻辑（例如一些耗时的计算，网络I/O处理），往往只需要让整个集群中的某一台机器进行执行，其余机器可以共享这个结果，这样可以大大减少重复劳动，提高性能，于是这个master选举便是这种场景下的碰到的主要问题。

利用ZooKeeper的强一致性，能够保证在分布式高并发情况下节点创建的全局唯一性，即：同时有多个客户端请求创建 /currentMaster 节点，最终一定只有一个客户端请求能够创建成功。利用这个特性，就能很轻易的在分布式环境中进行集群选取了。

另外，这种场景演化一下，就是动态Master选举。这就要用到EPHEMERAL_SEQUENTIAL类型节点的特性了。

上文中提到，所有客户端创建请求，最终只有一个能够创建成功。在这里稍微变化下，就是允许所有请求都能够创建成功，但是得有个创建顺序，于是所有的请求最终在ZK上创建结果的一种可能情况是这样： /currentMaster/{sessionId}-1 ,/currentMaster/{sessionId}-2,/currentMaster/{sessionId}-3 ….. 每次选取序列号最小的那个机器作为Master，如果这个机器挂了，由于他创建的节点会马上消失，那么之后最小的那个机器就是Master了。

1. 在搜索系统中，如果集群中每个机器都生成一份全量索引，不仅耗时，而且不能保证彼此之间索引数据一致。因此让集群中的Master来进行全量索引的生成，然后同步到集群中其它机器。另外，Master选举的容灾措施是，可以随时进行手动指定master，就是说应用在zk在无法获取master信息时，可以通过比如http方式，向一个地方获取master。

2. 在Hbase中，也是使用ZooKeeper来实现动态HMaster的选举。在Hbase实现中，会在ZK上存储一些ROOT表的地址和HMaster的地址，HRegionServer也会把自己以临时节点（Ephemeral）的方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的存活状态，同时，一旦HMaster出现问题，会重新选举出一个HMaster来运行，从而避免了HMaster的单点问题

1.3.4 分布式通知/协调

ZooKeeper中特有watcher注册与异步通知机制，能够很好的实现分布式环境下不同系统之间的通知与协调，实现对数据变更的实时处理。使用方法通常是不同系统都对ZK上同一个znode进行注册，监听znode的变化（包括znode本身内容及子节点的），其中一个系统update了znode，那么另一个系统能够收到通知，并作出相应处理

1. 另一种心跳检测机制：检测系统和被检测系统之间并不直接关联起来，而是通过zk上某个节点关联，大大减少系统耦合。

2. 另一种系统调度模式：某系统有控制台和推送系统两部分组成，控制台的职责是控制推送系统进行相应的推送工作。管理人员在控制台作的一些操作，实际上是修改了ZK上某些节点的状态，而ZK就把这些变化通知给他们注册Watcher的客户端，即推送系统，于是，作出相应的推送任务。

3. 另一种工作汇报模式：一些类似于任务分发系统，子任务启动后，到zk来注册一个临时节点，并且定时将自己的进度进行汇报（将进度写回这个临时节点），这样任务管理者就能够实时知道任务进度。

总之，使用zookeeper来进行分布式通知和协调能够大大降低系统之间的耦合

1.3.5 负载均衡

这里说的负载均衡是指软负载均衡。在分布式环境中，为了保证高可用性，通常同一个应用或同一个服务的提供方都会部署多份，达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑，其中比较典型的是消息中间件中的生产者，消费者负载均衡。

消息中间件中发布者和订阅者的负载均衡，linkedin开源的KafkaMQ和阿里开源的 metaq都是通过zookeeper来做到生产者、消费者的负载均衡。这里以metaq为例如讲下：

生产者负载均衡：metaq发送消息的时候，生产者在发送消息的时候必须选择一台broker上的一个分区来发送消息，因此metaq在运行过程中，会把所有broker和对应的分区信息全部注册到ZK指定节点上，默认的策略是一个依次轮询的过程，生产者在通过ZK获取分区列表之后，会按照brokerId和partition的顺序排列组织成一个有序的分区列表，发送的时候按照从头到尾循环往复的方式选择一个分区来发送消息。

消费负载均衡： 在消费过程中，一个消费者会消费一个或多个分区中的消息，但是一个分区只会由一个消费者来消费。MetaQ的消费策略是：

1. 每个分区针对同一个group只挂载一个消费者。

2. 如果同一个group的消费者数目大于分区数目，则多出来的消费者将不参与消费。

3. 如果同一个group的消费者数目小于分区数目，则有部分消费者需要额外承担消费任务。

在某个消费者故障或者重启等情况下，其他消费者会感知到这一变化（通过 zookeeper watch消费者列表），然后重新进行负载均衡，保证所有的分区都有消费者进行消费

1.3.6 命名服务(Naming Service)

命名服务也是分布式系统中比较常见的一类场景。在分布式系统中，通过使用命名服务，客户端应用能够根据指定名字来获取资源或服务的地址，提供者等信息。被命名的实体通常可以是集群中的机器，提供的服务地址，远程对象等等——这些我们都可以统称他们为名字（Name）。其中较为常见的就是一些分布式服务框架中的服务地址列表。通过调用ZK提供的创建节点的API，能够很容易创建一个全局唯一的path，这个path就可以作为一个名称。

阿里巴巴集团开源的分布式服务框架Dubbo中使用ZooKeeper来作为其命名服务，维护全局的服务地址列表

在Dubbo实现中：

服务提供者在启动的时候，向ZK上的指定节点/dubbo/${serviceName}/providers目录下写入自己的URL地址，这个操作就完成了服务的发布。

服务消费者启动的时候，订阅/dubbo/${serviceName}/providers目录下的提供者URL地址， 并向/dubbo/${serviceName} /consumers目录下写入自己的URL地址。

注意，所有向ZK上注册的地址都是临时节点，这样就能够保证服务提供者和消费者能够自动感应资源的变化。 另外，Dubbo还有针对服务粒度的监控，方法是订阅/dubbo/${serviceName}目录下所有提供者和消费者的信息。

1.4 windows安装zookeeper

1、下载zookeeper

2、解压后进入zookeeper-3.3.6\bin双击zkServer.cmd运行

3、启动后进入客户端工具ZooInspector\build下双击zookeeper-dev-ZooInspector.jar运行，端口号默认2181

4、进入zookeeper-3.3.6\bin，点击zkCli.cmd运行，然后输入 ls / 可查看所有节点信息。 

短暂（ephemeral）（create -e /app1/test1 “test1” 客户端断开连接zk删除ephemeral类型节点） 
持久（persistent） （create -s /app1/test2 “test2” 客户端断开连接zk不删除persistent类型节点）

命令行工具的一些简单操作如下：

1. 显示根目录下、文件： ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

2. 显示根目录下、文件： ls2 / 查看当前节点数据并能看到更新次数等数据

3. 创建文件，并设置初始内容： create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串

4. 获取文件内容： get /zk 确认 znode 是否包含我们所创建的字符串

5. 修改文件内容： set /zk "zkbak" 对 zk 所关联的字符串进行设置

6. 删除文件： delete /zk 将刚才创建的 znode 删除

7. 退出客户端： quit

8. 帮助命令： help

1.5 Java操作zookeeper

添加依赖：

        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.6</version>
        </dependency>

编写测试：

public class Test02 implements Watcher {
    //连接地址
    private static final String ADDRESS="127.0.0.1:2181";
    //session会话
    private static final int SESSION_TIMEOUT=2000;
    //阻塞程序运行，等待zookeeper连接成功后才可继续往下执行
    private static final CountDownLatch countDownLatch= new CountDownLatch(1);
    ZooKeeper zookeeper;
    //创建连接
    public void createConnection(){
        try {
            zookeeper=new ZooKeeper(ADDRESS,SESSION_TIMEOUT,this);
            countDownLatch.await();
            System.out.println("zookeeper启动连接陈宫");
        } catch (Exception e){
            e.printStackTrace();
        }
    }
    //创建节点
    public boolean createNode(String path,String data){
        exists(path,true);//允许监听
        try {
            String result = zookeeper.create(path, data.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
            System.out.println("zookeeper新增连接陈宫");
            return true;
        }catch (Exception e){
            e.printStackTrace();
        }
        return false;
    }

    //更新节点
    public boolean updateNode(String path,String data){
        exists(path,true);//允许监听
        try {
            zookeeper.setData(path, data.getBytes(),-1);
            System.out.println("zookeeper修改连接陈宫");
            return true;
        }catch (Exception e){
            e.printStackTrace();
        }
        return false;
    }

    public Stat exists(String path,boolean watch){

        try {
            return zookeeper.exists(path,watch);
        } catch (KeeperException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return null;
    }
    public void process(WatchedEvent watchedEvent) {
        String path = watchedEvent.getPath();
        Event.KeeperState state = watchedEvent.getState();
        Event.EventType type = watchedEvent.getType();
        System.out.println();
        System.out.println("事件监听器开始。。。。。。。。。。。。########");
        System.out.println("path:"+path+",state:"+state+",type:"+type);
        if(state== Event.KeeperState.SyncConnected){
            if(type== Event.EventType.None){
                countDownLatch.countDown();
                System.out.println("监听事件：zookeeper连接成功！！");
            } else if(type==Event.EventType.NodeCreated){
                System.out.println("监听事件：zookeeper新增成功！！");
            } else if(type==Event.EventType.NodeDataChanged){
                System.out.println("监听事件：zookeeper修改成功！！");
            }
        }
        System.out.println("事件监听器结束。。。。。。。。。。。。########");
        System.out.println();
    }
    public void close(){
        try{
            if(zookeeper!=null)
                zookeeper.close();
        } catch (Exception e){
            e.printStackTrace();
        }
    }

    public static void main(String[] args) {
        Test02 test02 = new Test02();
        test02.createConnection();
//        test02.createNode("/itboy","http://127.0.0.1:8080");
        test02.updateNode("/itboy","http://127.0.0.1:8088");
        test02.close();
    }
}

运行后查看节点是否创建或者修改成功。

2 Zookeeper实现分布式锁

原理：zookeeper临时节点+事件监听watcher实现。

在zookeeper中创建临时节点（因为节点path是不允许重复的），所以多个程序同时创建仅有一个可以创建成功，谁创建成功谁就获得锁的资源，其他服务没有创建成功不能获得锁只能等待。当创建临时节点成功的服务于zookeeper连接断开后，由于临时节点的生命周期断开连接后结束，所以他会被自动删除，其他服务利用watcher事件监听到该变化后就可以创建该节点然后获得锁的资源。

其实这些前提是：首先强一致性（名称不重复）、控制时序（所有创建的都能被运行，只是有个顺序罢了）。

添加依赖：

        <dependency>
            <groupId>com.101tec</groupId>
            <artifactId>zkclient</artifactId>
            <version>0.10</version>
        </dependency>

接口类：

public interface DistributedLock {
    void getLock();
    void releaseLock();
}

抽象类：

public abstract class AbstractDistributedLock implements DistributedLock {
    private static final String ADDRESS="127.0.0.1:2181";
    protected ZkClient zkClient=new ZkClient(ADDRESS);
    protected  static final String PATH="/lock";
    protected CountDownLatch countDownLatch=null;
    public void getLock() {
        if(tryLock()){
            System.out.println("获取分布式锁成功！！");
        } else{
            waitLock();//等待获取所
            //重新获取锁
            getLock();
        }
    }

    protected abstract boolean tryLock();

    protected abstract void waitLock();
    public void releaseLock() {
        if (zkClient!=null)
            zkClient.close();
        System.out.println("释放锁成功！！");
    }
}

实现类：

public class ZookeeperDistributedLock extends AbstractDistributedLock {
    protected boolean tryLock() {
        try{
            zkClient.createEphemeral(PATH);
            return true;
        }catch (Exception e){
            return false;
        }

    }

    protected void waitLock() {
        IZkDataListener zkDataListener=new IZkDataListener() {
            //变化
            public void handleDataChange(String s, Object o) throws Exception {

            }
            //删除
            public void handleDataDeleted(String s) throws Exception {
                if(countDownLatch!=null)
                    countDownLatch.countDown();
            }
        };
        //注册事件
        zkClient.subscribeDataChanges(PATH,zkDataListener);
        if(zkClient.exists(PATH)){
            countDownLatch=new CountDownLatch(1);
            try {
                countDownLatch.await();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        zkClient.unsubscribeDataChanges(PATH,zkDataListener);
    }
}

测试：

public class OrderIdApp implements Runnable {
    private OrderNumGenerator orderNumGenerator=new OrderNumGenerator();
//    private Lock lock=new ReentrantLock();
    private DistributedLock distributedLock=new ZookeeperDistributedLock();
    public void run() {
        getNumber();
    }

    public void getNumber(){
        try {
//            lock.lock();
            distributedLock.getLock();
            String number = orderNumGenerator.getNumber();
            System.out.println(Thread.currentThread().getName() + ",生成订单ID:" + number);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
//            lock.unlock();
            distributedLock.releaseLock();
        }

    }

    public static void main(String[] args) {
//        OrderIdApp orderIdApp = new OrderIdApp();
        for (int i = 0; i < 100; i++) {
            new Thread(new OrderIdApp()).start();
        }
    }
}

id生成代码

public class OrderNumGenerator {
    //全局订单id
    public static int count = 0;

    public String getNumber() {
        try {
            Thread.sleep(200);
        } catch (Exception e) {
        }
        SimpleDateFormat simpt = new SimpleDateFormat("yyyy-MM-dd-HH-mm-ss");
        return simpt.format(new Date()) + "-" + ++count;
    }
}

3 Zookeeper实现负载均衡

如图所示，当有服务注册到注册中心（一般是增加临时顺序节点），然后订单服务监听/pay节点，发现有服务注册之后，就将新创建的节点信息缓存到本地list中，利用本地负载均衡机制进行真实服务的调用。当有服务宕机后，由于是临时节点，所以该节点信息会被删除，然后触发watcher监听事件之后，从本地list中删除该节点信息（高可用）。

3.1 环境搭建

添加依赖：

        <dependency>
            <groupId>com.101tec</groupId>
            <artifactId>zkclient</artifactId>
            <version>0.10</version>
        </dependency>

Socket服务端（服务器）：

//##ServerScoekt服务端
public class ZkServerScoekt implements Runnable {
    private int port = 18080;

    public static void main(String[] args) throws IOException {
        int port = 18080;
        ZkServerScoekt server = new ZkServerScoekt(port);
        Thread thread = new Thread(server);
        thread.start();
    }

    public ZkServerScoekt(int port) {
        this.port = port;
    }

    public void run() {
        ServerSocket serverSocket = null;
        try {
            serverSocket = new ServerSocket(port);
            System.out.println("Server start port:" + port);
            Socket socket = null;
            while (true) {
                socket = serverSocket.accept();
                new Thread(new ServerHandler(socket)).start();
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                if (serverSocket != null) {
                    serverSocket.close();
                }
            } catch (Exception e2) {

            }
        }
    }

}

处理逻辑：

public class ServerHandler implements Runnable {
    private Socket socket;

    public ServerHandler(Socket socket) {
        this.socket = socket;
    }

    public void run() {
        BufferedReader in = null;
        PrintWriter out = null;
        try {
            in = new BufferedReader(new InputStreamReader(this.socket.getInputStream()));
            out = new PrintWriter(this.socket.getOutputStream(), true);
            String body = null;
            while (true) {
                body = in.readLine();
                if (body == null)
                    break;
                System.out.println("Receive : " + body);
                out.println("Hello, " + body);
            }

        } catch (Exception e) {
            if (in != null) {
                try {
                    in.close();
                } catch (IOException e1) {
                    e1.printStackTrace();
                }
            }
            if (out != null) {
                out.close();
            }
            if (this.socket != null) {
                try {
                    this.socket.close();
                } catch (IOException e1) {
                    e1.printStackTrace();
                }
                this.socket = null;
            }
        }
    }
}

客户端：

public class ZkServerClient {
    public static List<String> listServer = new ArrayList<String>();

    public static void main(String[] args) {
        initServer();
        ZkServerClient 	client= new ZkServerClient();
        BufferedReader console = new BufferedReader(new InputStreamReader(System.in));
        while (true) {
            String name;
            try {
                name = console.readLine();
                if ("exit".equals(name)) {
                    System.exit(0);
                }
                client.send(name);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

    // 注册所有server
    public static void initServer() {
        listServer.clear();
        listServer.add("127.0.0.1:18080");
    }

    // 获取当前server信息
    public static String getServer() {
        return listServer.get(0);
    }

    public void send(String name) {

        String server = ZkServerClient.getServer();
        String[] cfg = server.split(":");

        Socket socket = null;
        BufferedReader in = null;
        PrintWriter out = null;
        try {
            socket = new Socket(cfg[0], Integer.parseInt(cfg[1]));
            in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
            out = new PrintWriter(socket.getOutputStream(), true);

            out.println(name);
            while (true) {
                String resp = in.readLine();
                if (resp == null)
                    break;
                else if (resp.length() > 0) {
                    System.out.println("Receive : " + resp);
                    break;
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (out != null) {
                out.close();
            }
            if (in != null) {
                try {
                    in.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            if (socket != null) {
                try {
                    socket.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

启动服务端和客户端后，在客户端console控制台输入信息回车后，服务端能收到请求信息则正确。

3.2 服务注册与删除

如果有一个新服务产生肯定需要注册到zookeeper中去作为临时节点嘛，然后如果有服务连接关闭后，肯定需要删除该节点，然后客户端本地list中就会重新去服务器上抓取最新的节点信息，这样不就是实现了服务注册与集群了吗？因此在上述的基础上，只需要当启动服务时候我们需要将该服务的信息注册到zookeeper中去，然后服务断开连接或者关闭时，通过监听该节点的改变或者删除更新客户端本地的list缓存不就万事大吉了吗？

服务端注册：

    public void registerService(){
        ZkClient zkClient = new ZkClient("127.0.0.1:2181", 6000, 3000);
        String path="/pay/server-"+port;
        if(!zkClient.exists("/pay"))//这个节点最好是持久节点
            zkClient.createPersistent("/pay","支付服务");
        if(zkClient.exists(path))
            zkClient.delete(path);
        zkClient.createEphemeral(path,"127.0.0.1:"+port);
    }

客户端监听：

    // 注册所有server
    public static void initServer() {
        listServer.clear();
//        listServer.add("127.0.0.1:18080");
        final ZkClient zkClient = new ZkClient("127.0.0.1:2181", 6000, 3000);
        String path="/pay";
        List<String> children = zkClient.getChildren(path);
        for (String s : children) {
            listServer.add((String) zkClient.readData(path+"/"+s));
        }
        System.out.println("最新的节点信息为："+listServer.toString());
        zkClient.subscribeChildChanges(path, new IZkChildListener() {
            public void handleChildChange(String parentPath, List<String> currentChildNodes) throws Exception {
                listServer.clear();
                for (String path:currentChildNodes) {
                    listServer.add((String) zkClient.readData(parentPath+"/"+path));
                }
                System.out.println("最新的节点信息为："+listServer.toString());
            }
        });
    }

此时客户端连接默认连接list中的第一个地址，如果改地址的服务关闭后，监听事件触发会重新初始化该list，然后找到另外可用的服务，再次返回第一个服务进行访问。

测试中，可以修改服务端的端口号，启动多个服务进行测试

3.3 负载均衡

    // 获取当前server信息,实现负载均衡
    private static int count=0;
    private static int totalServiceNum=listServer.size();
    public static String getServer() {
        totalServiceNum=listServer.size();

        return listServer.get(count++%totalServiceNum);
    }

4 使用zookeeper实现master选取策略

我理解的思路是：每个启动的服务都去创建一个唯一的临时节点，如果谁创建成功谁是master，而那些没有创建成功的服务就一直等待直到通过注册监听器监听该节点被删除，然后再视图创建该名称临时节点，谁创建成功就成为新的master。

上面的服务端代码改为如下：

    public static void main(String[] args) throws IOException {
        final int port = 18081;
        ZkServerScoekt server = new ZkServerScoekt(port);
        Thread thread = new Thread(server);
        thread.start();
        Thread t=new Thread(new Runnable() {
            public void run() {
                String path="/pay/server";
                IZkDataListener zkDataListener = new IZkDataListener() {
                    public void handleDataChange(String s, Object o) throws Exception {

                    }

                    public void handleDataDeleted(String s) throws Exception {
                        if(countDownLatch!=null)
                            countDownLatch.countDown();
                    }
                };
                while (true){
                    if(zkClient.exists(path)){
                        zkClient.subscribeDataChanges(path, zkDataListener);//注册监听器监听该节点的变化
                        countDownLatch=new CountDownLatch(1);
                        try {
                            System.out.println("等待中");
                            countDownLatch.await();
                        } catch (InterruptedException e) {
                        }
                    } else{
                        System.out.println("开始创建节点");
                        zkClient.createEphemeral(path,"127.0.0.1:"+port);
                        zkClient.unsubscribeDataChanges(path, zkDataListener);
                    }
                }
            }
        });
        t.start();
    }

客户端代码返回master节点：

    public static String getServer() {
//        totalServiceNum=listServer.size();
//
//        return listServer.get(count++%totalServiceNum);
        ZkClient zkClient = new ZkClient("127.0.0.1:2181", 6000, 3000);
        if(zkClient.exists("/pay/server")){
            return zkClient.readData("/pay/server");
        } else {
            return "127.0.0.1:8080";
        }
    }

此时启动两个服务端，仅有一个服务端能创建成功，而如果创建成功的服务端挂掉，另一个等待的服务端会立马监听到然后成为新的master。完毕。。。。