Bigdata-Zookeeper 3.4.6集群安装

ZooKeeper集群是一个独立的分布式协调服务集群，“独立”的含义就是说，如果想使用ZooKeeper实现分布式应用的协调与管理，简化协调与管理，任何分布式应用都可以使用，这就要归功于Zookeeper的数据模型（Data Model）和层次命名空间（Hierarchical Namespace）结构，详细可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html。
在设计你的分布式应用协调服务时，首要的就是考虑如何组织层次命名空间。

下面说明分布式模式的安装配置，过程如下所示：

第一步：主机名称到IP地址映射配置

ZooKeeper集群中具有两个关键的角色：Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务，集群中每个结点之间都互相连接，所以，在配置的ZooKeeper集群的时候，每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。
例如，我的ZooKeeper集群中每个结点的配置，这个在每个节点应该是完全相同的,如3个则3个都要写,如果已经成功配置好了hadoop集群,这些应该可以直接用.
以slave1为例，/etc/hosts内容如下所示：
192.168.0.1 Master
192.168.0.2 Slave01
192.168.0.3 Slave02

ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中，只有一个Leader，其他的都是Follower，如果ZooKeeper集群在运行过程中Leader出了问题，系统会采用该算法重新选出一个Leader。因此，各个结点之间要能够保证互相连接，必须配置上述映射。
ZooKeeper集群启动的时候，会首先选出一个Leader，在Leader election过程中，某一个满足选举算的结点就能成为Leader。整个集群的架构可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html#sc_designGoals。

第二步：修改ZooKeeper配置文件

可在/etc/profile中添加
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

在其中一台机器（Master）上，解压缩zookeeper-3.4.6.tar.gz，为了方便,将解压后的 mv zookeeper-3.4.6 zookeeper,在我的搭建中是使用将压缩包放在hadoop用户的家目录下tar -zxvf zookeeper-3.4.6.tar.gz

修改配置文件conf/zoo-sample.cfg 名字为zoo.cfg，内容如下所示，这里的datadir是自己创建的：
tickTime=2000
dataDir=/home/hadoop/storage/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=Master:2888:3888
server.2=slave01:2888:3888
server.3=slave02:2888:3888

上述配置内容说明，可以参考http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper。

第三步：远程复制分发安装文件

上面已经在一台机器Master上配置完成ZooKeeper，现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下：
[hadoop@master ~]$ scp -r zookeeper hadoop@slave01:/home/hadoop/
[hadoop@master ~]$ scp -r zookeeper hadoop@slave02:/home/hadoop/

第四步：设置myid

在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字，例如：
例如我上面的dataDir 路径
dataDir=/home/hadoop/storage/zookeeper
那么直接在zookeeper 目录下touch myid,vim myid,在Master 则输入1,在Slave1 则输入2,在Slave则输入3
按照上述进行配置即可。
第五步：启动ZooKeeper集群
在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：
进入目录

运行
[hadoop@master bin]$ /home/hadoop/zookeeper/bin/zkServer.sh start

我的没有提示任何warn,jps 命令查看,相比安装zookeeper之前多了一个QuorumPeerMain进程,结果如下

hadoop@Master:/usr/local/zookeeper$ bin/zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/…/conf/zoo.cfg
Starting zookeeper … STARTED
hadoop@Master:/usr/local/zookeeper$ jps
7980 NameNode
8179 SecondaryNameNode
8363 ResourceManager
17390 QuorumPeerMain
2037 JobHistoryServer
17412 Jps

我启动的顺序是Master>slave1>slave2，由于ZooKeeper集群启动的时候，每个结点都试图去连接集群中的其它结点，先启动的肯定连不上后面还没启动的，所以上面日志前面部分的异常是可以忽略的。通过后面部分可以看到，集群在选出一个Leader后，最后稳定了。
其他结点可能也出现类似问题，属于正常。

第六步：安装验证

可以通过ZooKeeper的脚本bin/zkServer.sh status来查看启动状态，包括集群中各个结点的角色（或是Leader，或是Follower），如下所示，是在ZooKeeper集群中的每个结点上查询的结果：
可以看出我这里Slave1是leader ,其他都是follower
hadoop@Master:~$ cd /usr/local/zookeeper
hadoop@Master:/usr/local/zookeeper$ bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/…/conf/zoo.cfg
Mode: follower
hadoop@Slave2:~$ cd /usr/local/zookeeper/
hadoop@Slave2:/usr/local/zookeeper$ bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/…/conf/zoo.cfg
Mode: follower
hadoop@Slave1:~$ cd /usr/local/zookeeper/
hadoop@Slave1:/usr/local/zookeeper$ bin/zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/…/conf/zoo.cfg
Mode: leader

可在/etc/profile中添加
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf