厚积薄发打卡Day70 ：【itheima】Zookeeper快速入门（下）＜分布式锁到集群搭建＞

5. 分布式锁

5.1 概念

• 在我们进行单机应用开发，涉及并发同步的时候，我们往往采用synchronized或者Lock的方式来解决多线程间的代码同步问题，这时多线程的运行都是在同一个JVM之下，没有任何问题。

• 但当我们的应用是分布式集群工作的情况下，属于多JVM下的工作环境，跨JVM之间已经无法通过多线程的锁解决同步问题。

• 那么就需要一种更加高级的锁机制，来处理种跨机器的进程之间的数据同步问题——这就是分布式锁。

  

常用分布式锁的实现

• 基于缓存实现：
  • Redis分布式锁的正确实现方式
  • 知乎-怎样实现redis分布式锁？
• zookeeper实现：
  • 阿里面试官让我用Zk（Zookeeper）实现分布式锁
• 数据库层面实现：
  • 分布式锁(4)-基于Mysql实现

5.2 zk分布式锁原理

推荐：阿里面试官让我用Zk（Zookeeper）实现分布式锁

• 开门见山：

  • 核心思想：当客户端要获取锁，则创建节点，使用完锁，则删除该节点。

• 实现步骤：

  1. 客户端获取锁时，在lock节点下创建临时顺序节点。（如下图图示）
     

     思考：为啥是 临时与顺序？（同时也是高频面试题）

  2. 然后获取lock下面的所有子节点，客户端获取到所有的子节点之后，如果发现自己创建的子节点序号最小，那么就认为该客户端获取到了锁。使用完锁后，将该节点删除。

  3. 如果发现自己创建的节点并非lock所有子节点中最小的，说明自己还没有获取到锁，此时客户端需要找到比自己小的那个节点，同时对其注册事件监听器，监听删除事件。

  4. 如果发现比自己小的那个节点被删除，则客户端的 Watcher会收到相应通知，此时再次判断自己创建的节点是否是lock子节点中序号最小的，如果是则获取到了锁， 如果不是则重复以上步骤继续获取到比自己小的一个节点并注册监听。

5.3 案例

模拟12306售票案例

• 在Curator中有五种锁方案：

  • InterProcessSemaphoreMutex：分布式排它锁（非可重入锁）
  • InterProcessMutex：分布式可重入排它锁
  • InterProcessReadWriteLock：分布式读写锁
  • InterProcessMultiLock：将多个锁作为单个实体管理的容器
  • InterProcessSemaphoreV2：共享信号量

• 资源在哪，锁就加在哪里

  

• 实现步骤：

  1. 创建线程进行加锁设置

     public class Ticket12306 implements Runnable{
         private int tickets = 10;//数据库的票数
         private InterProcessMutex lock ;
         @Override
         public void run() {
             while(true){
                 //获取锁
                 try {
                 lock.acquire(3, TimeUnit.SECONDS);
                     if(tickets > 0){
                         System.out.println(Thread.currentThread()+":"+tickets);
                         Thread.sleep(100);
                         tickets--;
                     }
                 } catch (Exception e) {
                     e.printStackTrace();
                 }finally {
                     //释放锁
                     try {
                         lock.release();
                     } catch (Exception e) {
                         e.printStackTrace();
                     }
     
                 }
             }
         }
     }
     

  2. 创建连接，并且初始化锁

     public Ticket12306(){
         //重试策略
         RetryPolicy retryPolicy = new ExponentialBackoffRetry(3000, 10);
         //2.第二种方式
         //CuratorFrameworkFactory.builder();
         CuratorFramework client = CuratorFrameworkFactory.builder()
             .connectString("192.168.149.135:2181")
             .sessionTimeoutMs(60 * 1000)
             .connectionTimeoutMs(15 * 1000)
             .retryPolicy(retryPolicy)
             .build();
         //开启连接
         client.start();
         lock = new InterProcessMutex(client,"/lock");
     }
     

  3. 运行多个线程进行测试

     public class LockTest {
         public static void main(String[] args) {
             Ticket12306 ticket12306 = new Ticket12306();
             //创建客户端
             Thread t1 = new Thread(ticket12306,"携程");
             Thread t2 = new Thread(ticket12306,"飞猪");
             t1.start();
             t2.start();
         }
     }
     

6. 集群搭建

6.1 集群介绍

• Leader选举：
  • Serverid：服务器ID
    • 比如有三台服务器，编号分别是1,2,3。编号越大在选择算法中的权重越大。
  • Zxid：数据ID
    • 服务器中存放的最大数据ID.值越大说明数据 越新，在选举算法中数据越新权重越大。
• 在Leader选举的过程中，如果某台ZooKeeper获得了超过半数的选票，则此ZooKeeper就可以成为Leader了。

6.2 搭建要求

真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。

我们这里要求搭建一个三个节点的Zookeeper集群（以ip区分的伪集群 ）。

6.3 准备工作

重新新建一个文件夹作为测试目录。

1. Zookeeper压缩包上传到服务器

2. 将Zookeeper解压 ，建立/usr/local/zookeeper-cluster目录，将解压后的Zookeeper复制到以下三个目录

   1. /usr/local/zookeeper-cluster/zookeeper-1
   2. /usr/local/zookeeper-cluster/zookeeper-2
   3. /usr/local/zookeeper-cluster/zookeeper-3

   [root@localhost ~]# mkdir /usr/local/zookeeper-cluster
   [root@localhost ~]# cp -r  apache-zookeeper-3.5.6-bin /usr/local/zookeeper-cluster/zookeeper-1
   [root@localhost ~]# cp -r  apache-zookeeper-3.5.6-bin /usr/local/zookeeper-cluster/zookeeper-2
   [root@localhost ~]# cp -r  apache-zookeeper-3.5.6-bin /usr/local/zookeeper-cluster/zookeeper-3
   

3. 创建data目录 ，并且将 conf下zoo_sample.cfg 文件改名为 zoo.cfg

   mkdir /usr/local/zookeeper-cluster/zookeeper-1/data
   mkdir /usr/local/zookeeper-cluster/zookeeper-2/data
   mkdir /usr/local/zookeeper-cluster/zookeeper-3/data       
   
   mv  /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo_sample.cfg  /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
   mv  /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo_sample.cfg  /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
   mv  /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo_sample.cfg  /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg
   

4. 配置每一个Zookeeper 的dataDir 和 clientPort 分别为2181 2182 2183

   1. 修改/usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg

      vim /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
      
      clientPort=2181
      dataDir=/usr/local/zookeeper-cluster/zookeeper-1/data
      

   2. 修改/usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg

      vim /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
      
      clientPort=2182
      dataDir=/usr/local/zookeeper-cluster/zookeeper-2/data
      

   3. 修改/usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg

      vim /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg
      
      clientPort=2183
      dataDir=/usr/local/zookeeper-cluster/zookeeper-3/data
      

6.4 配置集群

1. 在每个zookeeper的 data 目录下创建一个 myid 文件，内容分别是1、2、3 。这个文件就是记录每个服务器的ID

   echo 1 >/usr/local/zookeeper-cluster/zookeeper-1/data/myid
   echo 2 >/usr/local/zookeeper-cluster/zookeeper-2/data/myid
   echo 3 >/usr/local/zookeeper-cluster/zookeeper-3/data/myid
   

2. 在每一个zookeeper 的 zoo.cfg配置客户端访问端口（clientPort）和集群服务器IP列表，集群服务器IP列表如下：

   vim /usr/local/zookeeper-cluster/zookeeper-1/conf/zoo.cfg
   vim /usr/local/zookeeper-cluster/zookeeper-2/conf/zoo.cfg
   vim /usr/local/zookeeper-cluster/zookeeper-3/conf/zoo.cfg
   
   server.1=192.168.149.135:2881:3881
   server.2=192.168.149.135:2882:3882
   server.3=192.168.149.135:2883:3883
   

   讲解：

   • server.服务器ID=服务器IP地址：服务器之间通信端口：服务器之间投票选举端口

6.5 启动集群

• 启动集群就是分别启动每个实例。

  /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
  /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
  /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
  

  

• 启动后我们查询一下每个实例的运行状态

  /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
  /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
  /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status
  

  • 先查询第一个服务：

    

    Mode为follower表示是跟随者（从）

  • 第二个服务：

    

    Mod 为leader表示是领导者（主）

  • 第三个服务：

    

    第三个为跟随者（从）

6.6 模拟集群异常

1. 首先我们先测试如果是从服务器挂掉，会怎么样

   1. 把3号服务器停掉，观察1号和2号，发现状态并没有变化

   /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh stop
   
   /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
   /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
   

   由此得出结论，3个节点的集群，从服务器挂掉，集群正常

2. 我们再把1号服务器（从服务器）也停掉，查看2号（主服务器）的状态，发现已经停止运行了。

   /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh stop
   
   /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
   

   

   由图可见，服务器挂了。

   由此得出结论，3个节点的集群，2个从服务器都挂掉，主服务器也无法运行。因为可运行的机器没有超过集群总数量的半数。

3. 我们再次把1号服务器启动起来，发现2号服务器又开始正常工作了，而且依然是领导者

   /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh start
   
   /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
   

   

4. 我们把3号服务器也启动起来，把2号服务器停掉,停掉后观察1号和3号的状态。

   /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh start
   /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh stop
   
   /usr/local/zookeeper-cluster/zookeeper-1/bin/zkServer.sh status
   /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status
   

   

   发现新的leader产生了~

   由此我们得出结论，当集群中的主服务器挂了，集群中的其他服务器会自动进行选举状态，然后产生新得leader

5. 我们再次测试，当我们把2号服务器重新启动起来启动后，会发生什么？2号服务器会再次成为新的领导吗？我们看结果

   /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh start
   
   /usr/local/zookeeper-cluster/zookeeper-2/bin/zkServer.sh status
   /usr/local/zookeeper-cluster/zookeeper-3/bin/zkServer.sh status
   

   

   

   我们会发现，2号服务器启动后依然是跟随者（从服务器），3号服务器依然是领导者（主服务器），没有撼动3号服务器的领导地位。

   由此我们得出结论，当领导者产生后，再次有新服务器加入集群，不会影响到现任领导者。

7. 核心理论

Zookeeper集群角色

在ZooKeeper集群服中务中有三个角色：

1. Leader 领导者 ：
   1. 处理事务请求
   2. 集群内部各服务器的调度者
2. Follower 跟随者 ：
   1. 处理客户端非事务请求，转发事务请求给Leader服务器
   2. 参与Leader选举投票
3. Observer 观察者：
   1. 处理客户端非事务请求，转发事务请求给Leader服务器
   2. zookeeper的observer模式

器加入集群，不会影响到现任领导者。

7. 核心理论

Zookeeper集群角色

在ZooKeeper集群服中务中有三个角色：

1. Leader 领导者 ：
   1. 处理事务请求
   2. 集群内部各服务器的调度者
2. Follower 跟随者 ：
   1. 处理客户端非事务请求，转发事务请求给Leader服务器
   2. 参与Leader选举投票
3. Observer 观察者：
   1. 处理客户端非事务请求，转发事务请求给Leader服务器
   2. zookeeper的observer模式