Zookeeper集群搭建

一、zookeeper安装

1、下载zookeeper

到 http://apache.fayea.com/zookeeper/ 下载
如果linux可以联外网，可以用命令下载

$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

2、解压安装

解压 zookeeper 安装包：
$ tar -zxvf zookeeper-3.4.6.tar.gz –C /home/app/zookeeper/

3、创建日志文件夹

在/home/app/zookeeper/zookeeper-3.4.6 目录下创建以下目录：

$ mkdir data
$ mkdir logs

4、拷贝并修改配置文件

将 zookeeper-3.4.6/conf 目录下的 zoo_sample.cfg 文件拷贝一份，命名为为zoo.cfg

$ cp zoo_sample.cfg zoo.cfg

修改配置文件

$ vi zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/app/zookeeper/zookeeper-3.4.6/data
dataLogDir=/home/app/zookeeper/zookeeper-3.4.6/logs
clientPort=2181
#2888,3888 are election port（集群配置，单机版可以略）
server.1=edu-provider-01:2888:3888

其中，
2888 端口号是 zookeeper 服务之间通信的端口。
3888 是 zookeeper 与其他应用程序通信的端口。
edu-provider-01 是在 hosts 中已映射了 IP 的主机名。
initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不
是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到
Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。
当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没
有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是
5*2000=10 秒。
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时
间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4
秒。
server.A=B:C:D：其中 A 是一个数字，表示这个是第几号服务器； B 是这个服务
器的 IP 地址或/etc/hosts 文件中映射了 IP 的主机名； C 表示的是这个服务器与
集群中的 Leader 服务器交换信息的端口； D 表示的是万一集群中的 Leader 服务
器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是
用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是
一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同
的端口号。

5、创建myid文件（集群需要配置）

在 dataDir=/home/app/zookeeper-3.4.6/data 下创建 myid 文件

编辑 myid 文件，并在对应的 IP 的机器上输入对应的编号。如在第一台服务器上， myid文件内容就是 1。 如果只在单点上进行安装配置， 那么只有一个 server.1。

$ vi myid
1

6、修改用户配置文件

fangxin用户下修改 vi /home/fangxin/.bash_profile，
root用户，就修改 vi /etc/profile  增加 zookeeper 配置：
# zookeeper env
ZOOKEEPER_HOME=/home/app/zookeeper-3.4.6
export PATH=$ZOOKEEPER_HOME/bin:$PATH
使配置文件生效
$ source /home/fangxin/.bash_profile

7、打开防火墙端口，或者关闭防火墙

在防火墙中打开要用到的端口 2181、 2888、 3888
切换到 root 用户权限，执行以下命令：
# chkconfig iptables on
# service iptables start
编辑/etc/sysconfig/iptables
# vi /etc/sysconfig/iptables
增加以下 3 行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT

重启防火墙：
# service iptables restart
查看防火墙端口状态：
# service iptables status
Table: filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED
2 ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0
3 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0
4 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:22
5 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:2181
6 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:2888
7 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:3888
8 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination

8、启动并测试zookeeper

启动并测试 zookeeper:
(1) 执行：
    $ zkServer.sh start
(2) 输入 jps 命令查看进程：
    $ jps
    1456 QuorumPeerMain
    1475 Jps
    其中， QuorumPeerMain 是 zookeeper 进程，启动正常
(3) 查看状态：
    $ zkServer.sh status
(4) 查看 zookeeper 服务输出信息：
    由于服务信息输出文件在/home/wusc/zookeeper-3.4.6/bin/zookeeper.out
    $ tail -500f zookeeper.out

9、停止zookeeper

停止 zookeeper 进程：

    $ zkServer.sh stop

10、配置开机自启

配置 zookeeper 开机使用fangxin用户启动：
编辑/etc/rc.local 文件，加入：
su - root -c '/home/app/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start'

二、zookeeper集群搭建

1、主机名称到IP地址映射配置

ZooKeeper集群中具有两个关键的角色：Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务，集群中每个结点之间都互相连接，所以，在配置的ZooKeeper集群的时候，每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。

2、修改ZooKeeper配置文件

tickTime=2000
dataDir=/home/hadoop/storage/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=slave-01:2888:3888
server.2=slave-02:2888:3888
server.3=slave-03:2888:3888

3、设置myid

在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字

4、启动Zookeeper集群

目前只会一个一个启动

// 可以查看当前的zk是leader还是foller
zkServer.sh status

5、通过客户端测试集群

连接客户端，写入数据，查看另外两台机器是否同步数据

// 进入客户端
$ zkServerCli.sh

zookeeper管理客户所存放的数据采用的是类似于文件树的结构：
每个节点可以存放数据，每个节点又可以拥有子节点

// 查看根节点
    ls /
// 创建子节点
    create /aaa 1000
// 查看子节点
    ls /aaa
//查看节点内容
    get /aaa

注意：ls只能查看节点是否有子节点，至于该节点内容的查看，需要用get

成功的样子：当我在其中一台机器上设置一个节点信息，在另外两台机器上同样可以看到

三、弯路总结

command not fount

原因:
路径错误
zkServer.sh start

正确形式
./zkServer.sh start

如果想全局使用，需要配置环境变量：
所有用户，配置/etc/profile
某个用户，配置/home/fangxin/.bash_profile
添加配置信息：
# zookeeper env
ZOOKEEPER_HOME=/home/wusc/zookeeper-3.4.6
export PATH=$ZOOKEEPER_HOME/bin:$PATH
使配置文件生效
$ source /home/fangxin/.bash_profile 或者 $ source /etc/profile

Error contacting service. It is probably not running.

防火墙没有关，或者对应端口没有打开

四、常用zookeeper命令

查看zookeeper日志

tail  -f  zookeeper.out