Zookeeper分布式协调工具

一、分布式协调技术概述

我们在了解zookeeper之前先了解一种技术---分布式协调技术。分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制。图中有三台机器，每台机器各跑一个应用程序，然后我们将这三台机器通过网络将其连接起来，构成一个系统来为用户提供服务，对用户来说这个系统的架构是非透明的，他感觉不到我这个系统是一个什么样子的架构，那么我们就称这种系统为分布式系统。

那我们接下来再分析一下，在这个分布式系统中如何对进程进行调度，我假设在第一台机器上挂载了一个资源，然后这三个物理分布的进程都要竞争这个资源，但我们又不希望他们同时进行访问，这时候我们就需要一个协调器，来让他们有序的来访问这个资源；

Zookeeper 概述

Zookeeper是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如，集群中的节点在相互通信时，A节点向B节点发送消息。A节点如果想知道消息是否发送成功，只能由B节点告诉A节点。那么如果B节点关机或者由于其他的原因脱离集群网络，问题就出现了。A节点不断的向B发送消息，并且无法获得B的响应。B也没有办法通知A节点已经离线或者关机。集群中其他的节点完全不知道B发生了什么情况，还在不断的向B发送消息。这时，你的整个集群就发生了部分失败的故障。Zookeeper不能让部分失败的问题彻底消失，但是它提供了一些工具能够让你的分布式应用安全合理的处理部分失败的问题。

Zookeeper 是一个分布式的，开放源代码的分布式应用程序协调服务，是 Goole 的 Chubby 一个开源的实现，它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务。比如分布式同步，配置管理，集群管理，命名管理，队列管理。它被设计为易于编程，使用文件系统目录树作为数据模型，我们设计 zookeeper 的目地是为了减轻分布式应用程序所承担的协调任务 Zookeeper 是集群的管理者，监视着集群中各节点的状态，根据节点提交的反馈进行下一步合理的操作，最终，将简单易用的接口和功能稳定，性能高效的系统提供给用户。

三、zookeeper 提供的功能

1）.  文件系统

每个子目录 如 NameService 都被称为 znode ，和文件系统一样 ，我们能够自由的增加 删除 znode ，在一个 znode 下增加，删除 znode 有四种类型的znode :

1. PERSISTENT   : 持久化目录节点，客户端与 zookeeper 断开连接后，该节点依旧存在。
2. PERSISTENT_SEQUENTIAL  : 持久化顺序编号目录节点 ：客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。
3. EPHEMERAL-临时目录节点 ：客户端与zookeeper断开连接后，该节点被删除。
4. EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点 ：客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号。

2）.通知机制：客户端注册监听它关心的目录节点，当目录节点发生变化（数据改变、被删除、子目录节点增加删除）时，zookeeper会通知客户端

四、zookeeper工作角色

角色：

---

工作流程：

---

选举机制：

---

五、ZooKeeper搭建Hadoop的HA集群

HA--High Available高可用概述：在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。 对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障（比如宕机或是软件、硬件升级），那么整个集群将无法使用；

实现原理：HDFS 的 HA 功能通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的 热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器；

在一个典型的 HDFS(HA) 集群中，使用两台单独的机器配置为 NameNodes 。在任何时间点， 确保 NameNodes 中只有一个处于 Active 状态，其他的处在 Standby 状态。其中 ActiveNameNode 负责集群中的所有客户端操作，StandbyNameNode 仅仅充当备机，保证一 旦 ActiveNameNode 出现问题能够快速切换；

为了能够实时同步 Active 和 Standby 两个 NameNode 的元数据信息（实际上 editlog），需提 供一个共享存储系统，可以是 NFS、QJM（Quorum Journal Manager）或者 Zookeeper，Active Namenode 将数据写入共享存储系统，而 Standby 监听该系统，一旦发现有新数据写入，则 读取这些数据，并加载到自己内存中，以保证自己内存状态与 Active NameNode 保持基本一致，如此这般，在紧急情况下 standby 便可快速切为 active namenode；

---

Zookeeper+Namenode

---

Zookeeper+MapReduce（Yarn）：

---

Zookeeper+Hadoop ha总结：