大数据----8.zookeeper的简单介绍和安装

zookeeper的简单介绍和安装

1.1 概述

Zookeeper： zoo(动物园)； keeper 饲养员；管理员（特指动物园的管理员）

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式

Zookeeper=文件系统+通知机制

zookeeper的功能和应用场景

zookeeper功能
    （1）存储数据
    （2）监听
4、zookeeper工作机制
    基于观察者模式设计的分布式服务管理框架
5、zookeeper的存储结构
    目录树结构
6、zookeeper应用场景
    （1）集群统一配置管理
    （2）集群统一命名服务
    （3）集群统一管理
    （4）服务器的动态上下线感知
    （5）负载均衡

1.2原理

ZooKeeper是以Fast Paxos算法为基础的，[Paxos 算法](https://baike.baidu.com/item/Paxos 算法)存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而Fast Paxos做了一些优化，通过选举产生一个leader (领导者)，只有leader才能提交proposer，具体算法可见Fast Paxos。因此，要想弄懂ZooKeeper首先得对Fast Paxos有所了解。

ZooKeeper的基本运转流程：

1、选举Leader。

2、同步数据。

3、选举Leader过程中算法有很多，但要达到的选举标准是一致的。

4、Leader要具有最高的执行ID，类似root权限。

5、集群中大多数的机器得到响应并接受选出的Leader。

1.3 特点

1）Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。

2）Leader负责进行投票的发起和决议，更新系统状态

3）Follower用于接收客户请求并向客户端返回结果，在选举Leader过程中参与投票

4）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。

5）全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的。

6）更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行。

7）数据更新原子性，一次数据更新要么成功，要么失败。

8）实时性，在一定时间范围内，client能读到最新数据。

1.4数据结构

ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。
很显然zookeeper集群自身维护了一套数据结构。这个存储结构是一个树形结构，其上的每一个节点，我们称之为"znode"，每一个znode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识，如图5-1所示

图5-1 数据结构图

1.5 应用场景

提供的服务包括：分布式消息同步和协调机制、服务器节点动态上下线、统一配置管理、负载均衡、集群管理等，如图5-2，5-3，5-4所示。

图5-2 统一配置管理

图5-3 软负载均衡

图5-4 集群管理

1.6 zookeeper的选择流程

选举流程简述

目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下：

• 服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking(选举状态)。
• 服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。
• 服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。
• 服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。
• 服务器5启动，后面的逻辑同服务器4成为小弟。

详细的解释：https://www.cnblogs.com/shuaiandjun/p/9383655.html

2.zookeeper的具体使用

2.1 下载zookeeper的地址 :

官方地址：http://zookeeper.apache.org/index.html

下载zookeeper软件：

http://zookeeper.apache.org/releases.html#download

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 下载具体的版本；可以修改他的版本；

已经下载好的：

2.2 zookeeper的集群的安装：

2.2.1．集群规划

在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。

通过官方下载我们需要的版本：zookeeper-3.4.6.tar.gz

然后传到我们的hadoop01中去；

2．解压安装

1）解压zookeeper安装包到/opt/module/目录下 ；或者/usr/local/

[root@hadoop01 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/

2.找到他的配置文件：

但是他是一个临时文件需要进行修改：

重命名/usr/local/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg

3.在/usr/local/zookeeper-3.4.10/这个目录下创建zkData 用来存储我们的一些数据使用

mkdir -p zkData

4.配置zoo.cfg文件

（1）具体配置

dataDir=/usr/local/zookeeper-3.4.10/zkData

增加如下配置

#######################cluster##########################

server.1=hadoop01:2888:3888

server.2=hadoop02:2888:3888

server.3=hadoop03:2888:3888

（2）配置参数解读

server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

B是这个服务器的ip地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下zkData，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

（1）在/usr/local/zookeeper-3.4.10/zkData目录下创建一个myid的文件

touch myid

添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码

（2）编辑myid文件

vi myid

​ 在文件中添加与server对应的编号：如1

（3）拷贝配置好的zookeeper到其他机器上（分发到两个节点中）

scp -r /usr/local/zookeeper-3.4.6/ hadoop02:/usr/local/

scp -r /usr/local/zookeeper-3.4.6/ hadoop03:/usr/local/

并分别修改myid文件中内容为2、3

启动服务：

（4）分别启动zookeeper

[root@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh start

[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh start

[root@hadoop03 zookeeper-3.4.10]# bin/zkServer.sh start

（5）查看状态

[root@hadoop01 zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /usr/local/zookeeper-3.4.10/bin/…/conf/zoo.cfg

Mode: follower

[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh status

JMX enabled by default

Using config: /usr/local/zookeeper-3.4.10/bin/…/conf/zoo.cfg

Mode: leader

[root@hadoop03 zookeeper-3.4.5]# bin/zkServer.sh status

JMX enabled by default

Using config: /usr/local/zookeeper-3.4.10/bin/…/conf/zoo.cfg

Mode: follower

这样的启动非常麻烦；每个都的进入到我们的bin目录中； 进行环境遍历的配置：

配置到环境变量中去：

编辑 etc/profile文件： 分别对hadoop01； hadoop02；hadoop03 的配置文件进行修改；

生效环境变量
    source /etc/profile

修改完毕，需要进行生效；

这样做的原因就是环境变量----直接可以在任何的目录中进行调用命令； 不像以前必须在zookeeper的bin目录才可以；

常用的几个命令：

启动zookeeper
    zkServer.sh start
查看状态
    zkServer.sh status
关闭zookeeper
    zkServer.sh stop

然后就可以查看了：