hadoop学习——分布式应用协调服务ZooKeeper

ZooKeeper简介

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目

Zookeeper=文件系统+通知机制

1.Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册
2.一旦数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式

ZooKeeper数据结构

znode

ZooKeeper数据模型的结构与Linux文件系统很像，整体上可以看作是一棵树，树的每个节点称做一个znode。每一个znode默认能够存储1MB的数据，每个znode都可以通过其路径唯一标识

节点类型

PERSISTENT：持久化节点，默认类型
PERSISTENT_SEQUENTIAL：持久化顺序编号节点
EPHEMERAL：临时节点
EPHEMERAL_SEQUENTIAL：临时顺序编号节点

ZooKeeper客户端命令

常用客户端命令列表

ZooKeeper角色

Leader（领导者）

负责进行投票的发起和决议，更新系统状态

Follower（跟随者）

用于接收客户端请求并向客户端返回结果，在选主过程中参与投票

Observer（观察者）

可以接收客户端连接，将写请求转发给Leader节点。但Observer不参加投票过程，只同步Leader状态。Observer的目的是为了扩展系统，提高读取速度。

ZooKeeper选举机制

半数机制

1.集群中半数以上机器存活，集群可用
2.ZooKeeper工作时，有一个节点为Leader，其他为Follower，Leader是通过内部选举机制临时产生的
3.Leader选举是保证分布式数据一致性的关键所在

leader选举触发时机

服务器初始化启动
服务器运行期间无法和Leader保持连接

Hadoop高可用集群搭建

参考博客链接：hadoop高可用集群环境搭建
HDFS HA
配置core-site.xml
配置hdfs-site.xml
YARN HA
配置yarn-site.xml

总结

ZooKeeper集群中超过半数机器存活，就可提供服务
ZooKeeper是树形结构，每个节点都能存储数据
ZooKeeper中节点有Leader和Follower之分