ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。ZooKeeper是Hadoop的一个子项目。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。ZooKeeper的目的就在于此。
想要安装ZooKeeper集群,首先就要在多台机器上都安装ZooKeeper。为了便于记忆,可以将ZooKeeper安装到相同的目录下,如/app目录下。
在每一个ZooKeeper的dataDir目录下,创建一个myid文件,里面保存的是当前ZooKeeper节点的ID。ID不一定从1开始。本示例中的ID选取IP地址最后一段作为ID,以便于记忆。
步骤01 配置zoo.cfg。
配置三台CentOS7主机,三台主机的配置与hadoop分布式集群的三台主机配置相同,每台主机都需要关闭防火墙。然后修改$ZOOKEEPER_HOME/conf/zoo.cfg,在文件最后追加以下配置:
#配置ZooKeeper数据保存目录
dataDir=/app/datas/zk
配置ZooKeeper集群:
server.101=192.168.56.101:2888:3888
server.102=192.168.56.102:2888:3888
server.103=192.168.56.103:2888:3888
步骤02 使用scp将文件发送到其他两台机器。
$ scp -r zookeeper-3.6.2 server102:/app/
$ scp -r zookeeper-3.6.2 server103:/app/
然后修改每一个dataDir目录下的myid文件。在server101主机上的myid中添加101(为了方便记忆才取这个ID的,此ID等于IP的地址,建议可以从1开始),即:
echo 101 > /app/datas/zk/myid
以此类推。
步骤03 现在分别启动三台主机的ZooKeeper。
启动命令:
$ ./zkServer.sh start
然后查看状态,使用status检查状态:
[hadoop@server101 bin]$ ./zkServer.sh status
Mode: leader #这是leader其他两台为follower
现在就可以同步测试了。在一台虚拟机上进行操作,查看其他两台的同步情况。
步骤04 测试操作。
登录客户端:
$ zkCli.sh
显示当前所有目录:
[hadoop: localhost 2181] ls /
[zookeeper]
创建一个新的目录,且写入数据:
[hadoop: localhost : 2181 ] create /test TestData
再次显示当前根目录下的所有数据。登录其他主机,如果查看到相同的结果,即表示已经同步。
[hadoop: localhost : 2181 ] ls /
[test, zookeeper]
ZooKeeper的命令很多,可以使用help查看所有可使用的命令。
[zhadoopk: localhost : 2181] help
步骤05 创建znode节点
znode的节点类型分为持久节点、顺序节点和临时节点。默认创建的节点都是持久节点,使用-s参数可以创建一个顺序节点,使用-e参数可以创建临时节点。
创建顺序节点:
[hadoop: localhost:2181(CONNECTED) 13] create -s /t ""
Created /t0000000004
创建临时节点,客户端退出时自动被删除:
[hadoop: localhost:2181(CONNECTED) 2] create -e /tt ""
Created /tt
步骤06 观察节点
观察者ObServer可以观察到节点的变化,常用命令如下:
stat path [watch]
ls path [watch]
ls2 path [watch]
get path [watch]
上面的命令后面都有一个[watch],即可以在命令行观察节点的变化。首先通过某个设置,在后面直接添加watch:
[hadoop: localhost:2181(CONNECTED) 23] ls /one watch
[]
然后在另一个的客户端,添加一个子节点:
[hadoop: localhost:2181(CONNECTED) 4] create /one/1 Some Created /one/1
现在可以观察到节点显示的数据:
[hadoop: localhost:2181(CONNECTED) 24]
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/one