1 概述
官网地址
Zookeeper是一个开源的分布式的，是Hadoop的分布式协调服务。
Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式。
2 ZK的作用
对于分布式应用中，写分布式主要苦难在于会出现“部分失败”，一条消息在节点之间传输，如果网络错误，发送者无法知道接收者是否收到消息，又或者接收者进程已经kill了，那么发送者会重新连接接收者，发出消息，这种情况就是部分失败。
部分失败也是分布四系统的固有特征，而ZK可以在分布式应用中对部分失败进行处理，但是它并不能避免部分失败，而是可以进行处理。
3 ZK的特点
- ZK简单性：ZK的核心是一个精简的文件系统，提供了一些简单操作，排序和通知。
- ZK丰富性：ZK可以做分布式队列、分布式锁和一组节点中的”领导者选取“。
- ZK高可用性：ZK运行在一组机器上，可以实现高可用，避免系统出现单点故障。
- ZK采用松耦合的交互式方式：ZK可以被用于实现”数据汇聚“（rendezvous）机制让进程在不了解其他进程是可以进行信息交互，参与方甚至可以不必同时存在，一个进程在ZK中留下一条信息，在该进程结束后，另外一个进程可以读取这条消息。
4 常见的应用场景
总的来说ZK提供的服务包括：分布式消息同步和协调机制、服务器节点动态上下线、统一配置管理、负载均衡、集群管理等。
- 数据发布与订阅
当应用启动时，主动到ZK上获取配置信息并注册Watcher监听，配置管理员变更ZK配置节点的内容，ZK推送变更到应用出发Watcher回调函数，应用会根据逻辑主动获取新的配置信息，更改自身逻辑。
适用于配置信息多设备共享，会发生动态变化。 - 负载均衡
- Register负责域名的注册，服务器启动后将域名信息通过Register注册到ZK相应域名服务器下。
- Dispatcher负责域名的解析，可以实现负载均衡。
- Sacanner通过定时监测服务器状态，动态改变节点信息地址。
- Monltor负责收集服务器信息与状态监控。
- Controller提供后台Console，提供配置管理功能。
- 集群管理
ZK可以实现集群的管理，手机每台机器的运行状态，对集群进行上下线操作，分布式的任务汇报等。
5 本地模式安装部署
- 下载地址：http://mirrors.shu.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
- 安装前准备：
（1）安装jdk
（2）通过filezilla工具拷贝zookeeper到到linux系统下
（3）修改tar包权限
chmod u+x zookeeper-3.4.13.tar.gz
（4）解压到指定目录
tar -zxvf zookeeper-3.4.13.tar.gz -C /opt/sofeware/ - 配置修改
- 将/opt/module/zookeeper-3.4.13/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；
- 进入zoo.cfg文件：vim zoo.cfg
修改dataDir路径为
dataDir=/opt/module/zookeeper-3.4.13/data/zkData - 在/opt/module/zookeeper-3.4.13/这个目录上创建data/zkData文件夹
mkdir -p data/zkData
- 操作zookeeper
（1）启动zookeeper
bin/zkServer.sh start
（2）查看进程是否启动
[hadoop@hadoop001 zookeeper-3.4.13]$ jps
4020 Jps
4001 QuorumPeerMain
（3）查看状态：
[hadoop@hadoop001 zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: standalone
（4）启动客户端：
[hadoop@hadoop001 zookeeper-3.4.13]$ bin/zkCli.sh
（5）退出客户端：
[zk: localhost:2181(CONNECTED) 0] quit
（6）停止zookeeper
[hadoop@hadoop001 zookeeper-3.4.13]$ bin/zkServer.sh stop
6 配置参数解读
zoo.cfg 文件中参数含义
- tickTime ：通信心跳数，Zookeeper服务器心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime) - initLimit：LF初始通信时限
集群中的follower跟随者服务器(F)与leader领导者服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
投票选举新leader的初始化时间
Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。
Leader允许F在initLimit时间内完成这个工作。 - syncLimit：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，
Leader认为Follwer死掉，从服务器列表中删除Follwer。
在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。
如果L发出心跳包在syncLimit之后，还没有从F那收到响应，那么就认为这个F已经不在线了。 - dataDir：数据文件目录+数据持久化路径
保存内存数据库快照信息的位置，如果没有其他说明，更新的事务日志也保存到数据库。 - clientPort：客户端连接端口
监听客户端连接的端口
7 分布式安装部署
-
集群规划
在hadoop001、hadoop002和hadoop003三个节点上部署Zookeeper。 -
解压安装
（1）解压zookeeper安装包到/opt/software/目录下
[hadoop@hadoop001 software]$ tar -zxvf zookeeper-3.4.13.tar.gz -C /opt/software/（2）在/opt/software/zookeeper-3.4.13/这个目录下创建data/zkData
mkdir -p data/zkData（3）重命名/opt/software/zookeeper-3.4.13/conf这个目录下的zoo_sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg -
配置zoo.cfg文件
（1）具体配置
dataDir=/opt/software/zookeeper-3.4.13/data/zkData
增加如下配置
#######################cluster##########################
server.1=hadoop001:2888:3888
server.2=hadoop002:2888:3888
server.3=hadoop003:2888:3888
（2）配置参数解读
Server.A=B:C:D。
A是一个数字，表示这个是第几号服务器；
B是这个服务器的ip地址；
C是这个服务器与集群中的Leader服务器交换信息的端口；
D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，
而这个端口就是用来执行选举时服务器相互通信的端口。
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，
Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
-
集群操作
（1）在/opt/software/zookeeper-3.4.13/data/zkData目录下创建一个myid的文件
touch myid
添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码（2）编辑myid文件
vi myid
在文件中添加与server对应的编号：如1（3）拷贝配置好的zookeeper到其他机器上
scp -r zookeeper-3.4.13/ root@hadoop002:/opt/software/
scp -r zookeeper-3.4.13/ root@hadoop003:/opt/software/
并分别修改myid文件中内容为2、3
- 分别启动zookeeper
[hadoop@hadoop001 zookeeper-3.4.13]# bin/zkServer.sh start
[hadoop@hadoop002 zookeeper-3.4.13]# bin/zkServer.sh start
[hadoop@hadoop003 zookeeper-3.4.13]# bin/zkServer.sh start
- 查看状态
[hadoop@hadoop001 zookeeper-3.4.13]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/shftware/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower
[hadoop@hadoop002 zookeeper-3.4.13]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/shftware/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: leader
[hadoop@hadoop003 zookeeper-3.4.13]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/shftware/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower
扫一扫
114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
