zookeeper的集群模式下的安装和配置

1， 安装准备

 

1.1 下载 http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.3.3/ zookeeper-3.3.3.tar.gz

1.2 安装jdk : 我的是jdk-1.6.0_14-fcs

1.3 系统： linux :centos-5.4

1.4 hadoop安装配置：

    192.168.201.128 namenode

    192.168.201.131 datanode

    192.168.201.132 datanode

 

2，操作步骤

2.1 复制以上文件到/usr/下

2.2 解压后得到目录： /usr/zookeeper-3.3.3

2.3 进入zookeeper-3.3.3目录下，把conf目录下的zoo_sample.cfg 复制成zoo.cfg文件

2.4 打开zoo.cfg并修改和添加配置项目，如下：

 

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the port at which the clients will connect
clientPort=2181
# the directory where the snapshot is stored.
#dataDir=/export/crawlspace/mahadev/zookeeper/server1/data
dataDir=/usr/zookeeper-3.3.3/data

 

dataLogDir=/usr/zookeeper-3.3.3/log

server.1=192.168.201.128:2888:3888
server.2=192.168.201.131:2888:3888
server.3=192.168.201.132:2888:3888

 

2.5 新建两个目录

    mkdir /usr/zookeeper-3.3.3/{data,log}

 

2.6 在/usr/zookeeper-3.3.3/data目录下创建一个文件：myid

 

2.7 分别在myid上按照配置文件的server.中id的数值，在不同机器上的该文件中填写相应过的值

192.168.201.128  的myid内容为1

192.168.201.131  的为2
192.168.201.132  的为3

 

2.8 创建一个环境变量ZOOKEEPER并把该环境变量添加到系统路径：

vim /etc/profile

 

在export PATH语句前添加两行：

ZOOKEEPER=/usr/zookeeper-3.3.3/

PATH=$PATH:$ZOOKEEPER/bin

 

并执行 source /etc/profile

 

2.9 安装完成

 

 

3，启动

3.1 在三台机器上分别执行shell脚本，由于已经把可执行路径添加到环境变量中了，所以可以直接执行：

zkServer.sh start

 

3.2 在其中一台机器上执行客户端脚本，来查看这台服务器是否启动：

zkCli.sh -server 192.168.201.128:2181

 

 

4，查看状态

 

4.1 执行jps查看状态

jps

 

4.2 查看zookeeper集群是否启动

zkServer.sh status

 

[root@master ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/zookeeper-3.3.3/bin/../conf/zoo.cfg
Mode: follower

 

leader的显示是：

JMX enabled by default
Using config: /usr/zookeeper-3.3.3/bin/../conf/zoo.cfg
Mode: leader

 

 

4.3 查看zookeeper的启动状态

echo ruok | nc 192.168.201.128 2181

控制台输出： imok

 

5, 基本命令使用

注意：(处理客户端命令的函数是processZKCmd)

通过zkCli.sh -server 命令可以连接到其中一台server中，然后就可以通过交互式命令来控制zk了，简单讲解一下create命令的用法：

连接上zookeeper集群后，可以向其中输入命令：

 

#创建一个znode: /t 和数据tdata，其结点是EPHEMERAL类型的，

#意味着，客户端断开后其结点就会被删除

[zk: 192.168.201.128(CONNECTED) 25] create -e /t tdata 

Created /t
[zk: 192.168.201.128(CONNECTED) 26] ls /   #查看/目录下目录
[t, zookeeper]
[zk: 192.168.201.128(CONNECTED) 27] ls /t   #查看/t目录下的内容
[]
[zk: 192.168.201.128(CONNECTED) 28] get /t  #获取并查看/t目录写的数据
tdata
cZxid = 0x100000005
ctime = Sun Apr 22 17:58:05 CST 2012
mZxid = 0x100000005
mtime = Sun Apr 22 17:58:05 CST 2012
pZxid = 0x100000005
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x136d781d8750002
dataLength = 5
numChildren = 0
[zk: 192.168.201.128(CONNECTED) 29]

 

 

 

6，集群管理使用

 略

测试：

$zkServer.sh start

会报FAILED TO WRITE PID的错误。查看进程发现zookeeper进程存在, 并可以正常使用。

这是zkServer.sh脚本的一个BUG，dataDir是zookeeper进程内部建立的，并且有一定延迟, 因此将zookeeper进程id写入到dataDir下的pidfile时，dataDir还没有建立好, 因此就出现了上述情况。

解决办法修改zkServer.sh脚本，等待dataDir目录创建完毕后再将pid写入。找到相应的语句块，替换为下面的语句，注意替换的范围

...

    if [$? -eq 0 ]

   then

     while [ ! -d `dirname $ZOOPIDFILE` ]

     do 

       sleep 1;

     done

     if /bin/echo -n $zkpid > "$ZOOPIDFILE"

     then

       sleep 1

       echo STARTED

     else

       echo FAILED TO WRITE PID

       exit 1

     fi

进行测试：

   $zkServer.sh start

   $echo ruok | nc namenode 2181

   imok

是zookeeper在说I’mOK,可以把namenode换成集群里其它的主机名测试是否组网成功

在每台机器上分别执行zkServer.shstart，启动后通过jps看java进程是否出现QuoRumPeerIn，出现后再通过zkServer.shstatus命令查看zookeeper的状态。然后echo ruok | nc namenode2181，看是否会输出imok

而且集群中的zookeeper需要每台机器都启动zookeeper，保证每台机器的3888端口都是开通的

zookeeper启动时的错误：貌似已经zookeeper已经启动了，但是没有办法查看状态，查看日志发现没有创建logs文件夹，如下

如果$ZK_INSTALL下不存在logs目录，也会报错。所以需要手动创建logs文件夹。

报错异常信息如下：

1. 2012-02-26 00:06:47,364 [myid:] - INFO  [main:QuorumPeerConfig@101] - Reading configuration from: ../conf/zoo3.cfg  
2. 2012-02-26 00:06:47,372 [myid:] - ERROR [main:QuorumPeerMain@85] - Invalid config, exiting abnormally  
3. org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing ../conf/zoo3.cfg  
4.         at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:121)  
5.         at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:101)  
6.         at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)  
7. Caused by: [color=red]java.lang.IllegalArgumentException: dataLogDir /usr/local/zookeeper-3.4.3/logs is missing.[/color]  
8.         at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:247)  
9.         at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:117)  
10.         ... 2 more  
11. Invalid config, exiting abnormally 

可能会遇到的其他错误：
在linux下直接执行java命令，发现输出如下：

 

Bash代码  

1. [hadoop@hadoop-master bin]$ java  
2. Usage: gij [OPTION] ... CLASS [ARGS] ...  
3.           to invoke CLASS.main, or  
4.        gij -jar [OPTION] ... JARFILE [ARGS] ...  
5.           to execute a jar file  
6. Try `gij --help' for more information.  

 显然，zkServer.sh使用的java不正确。使用的gij的java。解决这个问题就简单了，把zkServer.sh脚本改成：

Bash代码  

1. $JAVA_HOME/bin/java  "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \  
2.    -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" &  

 

这样修改之后，就能正常运行了。

错误3：

启动正常没报错，但zkServer.shstatus查看状态的时候却出现错误，如下：

 

JMX enabled bydefault
Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg
Error contacting service. It is probably notrunning.

jps查看进程,却发现进程已启动

7313 QuorumPeerMain

原以为是配置文件有问题，各种调式，尝试各种模式都不起作用！最后发现是nc版本的问题，

导致zkServer.shstatus出错……各种无语！

解决方法：

打开zkServer.sh

找到

status)
    STAT=`echo stat | nclocalhost $(grep clientPort "$ZOOCFG" | sed -e 's/.*=//')2> /dev/null| grep Mode`

在nc与localhost之间加上 -q1 （是数字1而不是字母l）
如果已存在则去掉

附：

Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.

单机模式

点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:

Bash代码  

1. tickTime=2000    
2. dataDir=/Users/apple/zookeeper/data    
3. dataLogDir=/Users/apple/zookeeper/logs    
4. clientPort=4180   

参数说明:

• tickTime: zookeeper中使用的基本时间单位, 毫秒值.
• dataDir: 数据目录. 可以是任意目录.
• dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
• clientPort: 监听client连接的端口号.

至此, zookeeper的单机模式已经配置好了. 启动server只需运行脚本:

Bash代码  

1. bin/zkServer.sh start  

 Server启动之后, 就可以启动client连接server了, 执行脚本:

Bash代码  

1. bin/zkCli.sh -server localhost:4180  

 

伪集群模式

所谓伪集群, 是指在单台机器中启动多个zookeeper进程, 并组成一个集群. 以启动3个zookeeper进程为例.

将zookeeper的目录拷贝2份:

Bash代码  

1. |--zookeeper0  
2. |--zookeeper1  
3. |--zookeeper2  

 更改zookeeper0/conf/zoo.cfg文件为:

Bash代码  

1. tickTime=2000    
2. initLimit=5    
3. syncLimit=2    
4. dataDir=/Users/apple/zookeeper0/data    
5. dataLogDir=/Users/apple/zookeeper0/logs    
6. clientPort=4180  
7. server.0=127.0.0.1:8880:7770    
8. server.1=127.0.0.1:8881:7771    
9. server.2=127.0.0.1:8882:7772  

新增了几个参数, 其含义如下:

• initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.
• syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.
• server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.

参照zookeeper0/conf/zoo.cfg, 配置zookeeper1/conf/zoo.cfg, 和zookeeper2/conf/zoo.cfg文件. 只需更改dataDir, dataLogDir, clientPort参数即可.

在之前设置的dataDir中新建myid文件, 写入一个数字, 该数字表示这是第几号server. 该数字必须和zoo.cfg文件中的server.X中的X一一对应.
/Users/apple/zookeeper0/data/myid文件中写入0, /Users/apple/zookeeper1/data/myid文件中写入1, /Users/apple/zookeeper2/data/myid文件中写入2.

分别进入/Users/apple/zookeeper0/bin, /Users/apple/zookeeper1/bin, /Users/apple/zookeeper2/bin三个目录, 启动server.
任意选择一个server目录, 启动客户端:

Bash代码  

1. bin/zkCli.sh -server localhost:4180  

 

集群模式

集群模式的配置和伪集群基本一致.
由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样.
下面是一个示例:

Bash代码  

1. tickTime=2000    
2. initLimit=5    
3. syncLimit=2    
4. dataDir=/home/zookeeper/data    
5. dataLogDir=/home/zookeeper/logs    
6. clientPort=4180  
7. server.43=10.1.39.43:2888:3888  
8. server.47=10.1.39.47:2888:3888    
9. server.48=10.1.39.48:2888:3888  

示例中部署了3台zookeeper server, 分别部署在10.1.39.43, 10.1.39.47, 10.1.39.48上. 需要注意的是, 各server的dataDir目录下的myid文件中的数字必须不同.

10.1.39.43 server的myid为43, 10.1.39.47 server的myid为47, 10.1.39.48 server的myid为48.