zookeeper的原理和使用

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是Hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态，下面主要总结下zookeeper的结构，原理和工作流程。

数据模型

• 重要概念

  • znode

  • session

  • watcher

zookeeper特性

• zookeeper读写模式

• snapshot

• FIFO

常用API

• create
• delete
• exists
• getData
• sync
• setAcl
• getAcl

应用场景

• 同步服务，配置维护和命名服务
• 简单互斥锁

zookeeper工作原理

• 原子广播，保证各个server间同步，实现这种机制的协议是zab协议，zab协议有恢复模式和广播模式,每个server有三种状态：

  • looking:当前server不知道谁是leader
  • leading:当前server即选举为leader
  • following:leader选举出来，与当前server同步

• 选举流程

  • 选举算法：一种是基于basic paxos实现的，另外一种是基于fast paxos算法实现的

  • 同步流程

  

• 工作流程

  • learder工作流

    • 恢复数据；
    • 维持与Learner的心跳，接收Learner请求并判断Learner的请求消息类型；
    • Learner的消息类型主要有PING消息、REQUEST消息、ACK消息、REVALIDATE消息，根据不同的消息类型，进行不同的处理。

  • Follower工作流程

    • 向Leader发送请求
    • 接收Leader消息并进行处理；
    • 接收Client的请求，如果为写请求，发送给Leader进行投票；
    • 返回Client结果。