Zookeeper入门

最新推荐文章于 2023-04-12 22:52:40 发布

用心工作-快乐生活

最新推荐文章于 2023-04-12 22:52:40 发布

阅读量1.7k

点赞数

分类专栏： zookeeper

本文链接：https://blog.csdn.net/bingjie1217/article/details/12856421

版权

zookeeper 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1. Zookeeper简介

zookeeper 是Hadoop的分布式协调服务，用来构建一般的分布式应用。主要用于信息在网络中的节点间进行传送时，由于出现网络错误而出现的“部分失败”。Zookeeper的核心是一个精简的文件系统。

Zookeeper具有以下特点：

1、 Zookeeper是简单的

Zookeeper的核心是一个精简的文件系统。

2、 Zookeeper是富有表现力的

Zookeeper可以实现很多协调数据结构和协议，如分布式队列、分布式锁和一组同级节点中的“领导者选举”(leader election)。

3、 Zookeeper具有高可用性

Zookeeper运行于一组机器之上，可帮助系统避免出现单点故障。

4、 Zookeeper采用松耦合交互方式

交互过程中，参与者可以彼此不了解，也可以不同时存在，如一个进程在Zookeeper中留下一条消息，进程结束后另一个进程从Zookeeper中读取这条信息。

5、 Zookeeper是一个资源库

Zookeeper提供了一个关于通用协调模式的实现和方法的开源共享存储库，包括一些类的通用协议，程序员可以对它进行添加和改进。

2. linux下安装和运行Zookeeper

Ø 解压：% tar xzfzookeeper-x.y.z.tar.gz下载、解压文件

tar xzvf zookeeper-3.4.3.tar.gz

Ø 修改配置文件zoo.cfg

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/_nosql/zookeeper/data

# the port at which the clients will connect

clientPort=2181

dataLogDir=/_nosql/zookeeper/logs

Ø 创建日志目录logs

注：不手动创建服务不能正常启动

Ø 启动、停止

bin/zkServer.sh start

bin/zkServer.sh stop

Ø 检查Zookeeper是否正在运行

%echo ruok | nc localhost 2181

imok

说明：ruok= Are you ok? imok = I’m ok

3. windows下安装和运行zookeeper

1) 单机模式

单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：C:\zookeeper-3.4.3\下，Zookeeper 的启动脚本在 bin 目录下，Windows 下的启动脚本是 zkServer.cmd。

在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。

# The number ofmilliseconds of each tick

tickTime=2000

# The number ofticks that the initial

# synchronizationphase can take

initLimit=10

# The number ofticks that can pass between

# sending a requestand getting an acknowledgement

syncLimit=5

# the directory wherethe snapshot is stored.

# do not use /tmp forstorage, /tmp here is just

# example sakes.

dataDir=C:\\zookeeper-3.4.5\\data

dataLogDir=C:\\zookeeper-3.4.5\\log

# the port at whichthe clients will connect

clientPort=2181

# Be sure to readthe maintenance section of the

# administratorguide before turning on autopurge.

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

# The number ofsnapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge taskinterval in hours

# Set to "0"to disable auto purge feature

#autopurge.purgeInterval=1

tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
dataLogDir：顾名思义就是 Zookeeper 保存日志文件的目录
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

当这些配置项配置好后，你现在就可以启动 Zookeeper 了，启动后要检查 Zookeeper 是否已经在服务，可以通过 netstat –ano命令查看是否有你配置的 clientPort 端口号在监听服务。

启动日志如下：

C:\Documents and Settings\Administrator>java"-Dzookeeper.log.dir=C:\zookeeper-3.4.3\bin\..""-Dzookeeper.root.logger=INFO,CONSOLE" -cp "C:\zookeeper-

3.4.3\bin\..\build\classes;C:\zookeeper-3.4.3\bin\..\build\lib\*;C:\zookeeper-3.4.3\bin\..\*;C:\zookeeper-3.4.3\bin\..\lib\*;C:\zookeeper-3.4.3\bin\..

\conf" org.apache.zookeeper.server.quorum.QuorumPeerMain"C:\zookeeper-3.4.3\bin\..\conf\zoo.cfg"

2013-10-18 09:50:24,281 [myid:] - INFO [main:QuorumPeerConfig@101] - Reading configuration from:C:\zookeeper-3.4.3\bin\..\conf\zoo.cfg

2013-10-18 09:50:24,296 [myid:] - INFO [main:DatadirCleanupManager@78] - autopurge.snapRetainCount set to 3

2013-10-18 09:50:24,296 [myid:] - INFO [main:DatadirCleanupManager@79] - autopurge.purgeInterval set to 0

2013-10-18 09:50:24,296 [myid:] - INFO [main:DatadirCleanupManager@101] - Purge task is not scheduled.

2013-10-18 09:50:24,296 [myid:] - WARN [main:QuorumPeerMain@113] - Either no config or no quorum defined inconfig, running in standalone mode

2013-10-18 09:50:24,593 [myid:] - INFO [main:QuorumPeerConfig@101] - Reading configuration from:C:\zookeeper-3.4.3\bin\..\conf\zoo.cfg

2013-10-18 09:50:24,593 [myid:] - INFO [main:ZooKeeperServerMain@95] - Starting server

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Serverenvironment:zookeeper.version=3.4.3-1240972, built on 02/06/2012 10:48 GMT

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:host.name=PC2012103014plm

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:java.version=1.7.0_17

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:java.vendor=OracleCorporation

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Serverenvironment:java.home=C:\Java\jdk1.7.0_17\jre

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Serverenvironment:java.class.path=C:\zookeeper-3.4.3\bin\..\build\classes;C:\zookeepe

r-3.4.3\bin\..\build\lib\*;C:\zookeeper-3.4.3\bin\..\zookeeper-3.4.3.jar;C:\zookeeper-3.4.3\bin\..\lib\jline-0.9.94.jar;C:\zookeeper-3.4.3\bin\..\lib\

log4j-1.2.15.jar;C:\zookeeper-3.4.3\bin\..\lib\netty-3.2.2.Final.jar;C:\zookeeper-3.4.3\bin\..\lib\slf4j-api-1.6.1.jar;C:\zookeeper-3.4.3\bin\..\lib\s

lf4j-log4j12-1.6.1.jar;C:\zookeeper-3.4.3\bin\..\conf

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Serverenvironment:java.library.path=C:\Java\jdk1.7.0_17\bin;C:\WINDOWS\Sun\Java\bin;C

:\WINDOWS\system32;C:\WINDOWS;D:\oracle\product\10.2.0\db_1\bin;C:\WINDOWS\system32;C:\WINDOWS;C:\WINDOWS\System32\Wbem;%JAVA_HOME%\bin;%JAVA_HOME%\jr

e\bin;C:\Program Files\MySQL\MySQL Server 5.5\bin;C:\ProgramFiles\TortoiseSVN\bin;c:\ant191\bin;C:\Java\jdk1.7.0_17\bin;C:\Java\jdk1.7.0_17\jre\bin;C

:\Program Files\SSH Communications Security\SSH Secure Shell;C:\ProgramFiles\IDM Computer Solutions\UltraEdit\;.

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Serverenvironment:java.io.tmpdir=C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:java.compiler=<NA>

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:os.name=Windows XP

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:os.arch=x86

2013-10-18 09:50:24,609 [myid:] - INFO [main:Environment@98] - Server environment:os.version=5.1

2013-10-18 09:50:24,625 [myid:] - INFO [main:Environment@98] - Server environment:user.name=root

2013-10-18 09:50:24,625 [myid:] - INFO [main:Environment@98] - Server environment:user.home=C:\Documents andSettings\Administrator

2013-10-18 09:50:24,625 [myid:] - INFO [main:Environment@98] - Server environment:user.dir=C:\Documents andSettings\Administrator

2013-10-18 09:50:24,640 [myid:] - INFO [main:ZooKeeperServer@733] - tickTime set to 2000

2013-10-18 09:50:24,640 [myid:] - INFO [main:ZooKeeperServer@742] - minSessionTimeout set to -1

2013-10-18 09:50:24,640 [myid:] - INFO [main:ZooKeeperServer@751] - maxSessionTimeout set to -1

2013-10-18 09:50:24,718 [myid:] - INFO [main:NIOServerCnxnFactory@110] - binding to port 0.0.0.0/0.0.0.0:2181

2013-10-18 09:50:24,765 [myid:] - INFO [main:FileTxnSnapLog@238] - Snapshotting: 0x0 toc:\zookeeper-3.4.3\data\version-2\snapshot.0

2) 集群模式

    由于手头机器不足，所以在一台机器上部署了3个server,如果你手头也比较紧，也可以这么做。那么我建了3个文件夹，如下
server1   server2   server3

         然后每个文件夹里面解压一个zookeeper的下载包，并且还建了几个文件夹，总体结构如下,最后那个是下载过来压缩包的解压文件
data dataLog zookeeper-3.4.3
         那么首先进入data目录，创建一个myid的文件，里面写入一个数字，比如我这个是server1,那么就写一个1，server2对应myid文件就写入2，server3对应myid文件就写个3
         然后进入zookeeper-3.4.3/conf目录，那么如果是刚下过来，会有3个文件，configuration.xml,log4j.properties,zoo_sample.cfg,这3个文件我们首先要做的就是在这个目录创建一个zoo.cfg的配置文件，当然你可以把zoo_sample.cfg文件改成zoo.cfg，配置的内容如下所示：
tickTime=2000
initLimit=5
syncLimit=2
dataDir=c:/zookeeper/server1/data
dataLogDir=c:/zookeeper/server1/dataLog
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

         标红的几个配置在单机模式里讲得很清楚了，只是需要注意的是clientPort这个端口如果你是在1台机器上部署多个server,那么每台机器都要不同的clientPort，比如我server1是2181,server2是2182，server3是2183，dataDir和dataLogDir也需要区分下。
         最后几行唯一需要注意的地方就是 server.X 这个数字就是对应 data/myid中的数字。你在3个server的myid文件中分别写入了1，2，3，那么每个server中的zoo.cfg都配server.1，server.2，server.3就OK了。因为在同一台机器上，后面连着的2个端口3个server都不要一样，否则端口冲突，其中第一个端口用来集群成员的信息交换，第二个端口是在leader挂掉时专门用来进行选举leader所用。
         进入zookeeper-3.4.2/bin 目录中，双击zkServer.cmd启动一个server,这时会报大量错误？其实没什么关系，因为现在集群只起了1台server，zookeeper服务器端起来会根据zoo.cfg的服务器列表发起选举leader的请求，因为连不上其他机器而报错，那么当我们起第二个zookeeper实例后，leader将会被选出，从而一致性服务开始可以使用，这是因为3台机器只要有2台可用就可以选出leader并且对外提供服务(2n+1台机器，可以容n台机器挂掉)。
         接下来就可以使用了，我们可以先通过 zookeeper自带的客户端交互程序来简单感受下zookeeper到底做一些什么事情，进入zookeeper-3.4.3/bin（3个server中任意一个）下，双南zkCli.cmd 。
         那么，首先我们随便打个命令，因为zookeeper不认识，他会给出命令的help,如下图

ls(查看当前节点数据),
ls2(查看当前节点数据并能看到更新次数等数据) ,
create(创建一个节点) ,
get(得到一个节点，包含数据和更新次数等数据),
set(修改节点)
delete(删除一个节点)

         通过上述命令实践，我们可以发现，zookeeper使用了一个类似文件系统的树结构，数据可以挂在某个节点上，可以对这个节点进行删改。另外我们还发现，当改动一个节点的时候，集群中活着的机器都会更新到一致的数据。

4. zookeeper使用示例代码

package zookeeper;

import java.io.IOException;
import java.util.List;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;

public class TestZK {

	public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
		
		System.out.println("---1---");
		
		//创建一个Zookeeper实例，第一个参数为目标服务器地址和端口，第二个参数为Session超时时间，第三个为节点变化时的回调方法
		ZooKeeper zk = new ZooKeeper("localhost:" + 2181, 3000, new Watcher() {
			// 监控所有被触发的事件
			public void process(WatchedEvent event) {
				System.out.println("触发了" + event.getType() + "事件！");
			}
		});
		System.out.println("---2---");
		
		//创建一个节点root，数据是mydata,不进行ACL权限控制，节点为永久性的(即客户端shutdown了也不会消失)
		zk.create("/root", "mydata".getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
		System.out.println("---3---");

		//在root下面创建一个childone znode,数据为childone,不进行ACL权限控制，节点为永久性的
		zk.create("/root/childone","childone".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);
		System.out.println("---4---");

		//取得/root节点下的子节点名称,返回List<String>
		List<String> list = zk.getChildren("/root",true);
		for(String str : list) {
			System.out.println("str=" + str);
		}
		System.out.println("---5---");
		

		//取得/root/childone节点下的数据,返回byte[]
		byte[] b = zk.getData("/root/childone", true, null);
		System.out.println("---6---" + new String(b));

		//修改节点/root/childone下的数据，第三个参数为版本，如果是-1，那会无视被修改的数据版本，直接改掉
		zk.setData("/root/childone","childonemodify".getBytes(), -1);
		byte[] b1 = zk.getData("/root/childone", true, null);
		System.out.println("---7---" + new String(b1));

		
		//删除/root/childone这个节点，第二个参数为版本，－1的话直接删除，无视版本
		zk.delete("/root/childone", -1);
		System.out.println("---8---");
		
		zk.delete("/root", -1);
		System.out.println("---9---");
		      
		//关闭session
		zk.close();
		System.out.println("---10---");
	}

}

5. zookeeper的数据模型

在简单使用了zookeeper之后，我们发现其数据模型有些像操作系统的文件结构，结构如下图所示：

其数据模型有如下特点：

1) 每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识，如/SERVER2节点的标识就为/APP3/SERVER2。

2) Znode可以有子znode，并且znode里可以存数据，但是EPHEMERAL类型的节点不能有子节点。

3) Znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本。

4) znode 可以是临时节点，一旦创建这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通信采用长连接方式，每个客户端和服务器通过心跳来保持连接，这个连接状态称为 session，如果 znode 是临时节点，这个 session 失效，znode 也就删除了。

5) znode 的目录名可以自动编号，如App1 已经存在，再创建的话，将会自动命名为 App2 。

6) znode 可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的功能包括配置的集中管理，集群管理，分布式锁等等。

6. Zookeeper的主流应用场景实现思路

(1)配置管理
集中式的配置管理在应用集群中是非常常见的，一般商业公司内部都会实现一套集中的配置管理中心，应对不同的应用集群对于共享各自配置的需求，并且在配置变更时能够通知到集群中的每一个机器。

Zookeeper很容易实现这种集中式的配置管理，比如将APP1的所有配置配置到/APP1 znode下，APP1所有机器一启动就对/APP1这个节点进行监控(zk.exist("/APP1",true)),并且实现回调方法Watcher，那么在zookeeper上/APP1 znode节点下数据发生变化的时候，每个机器都会收到通知，Watcher方法将会被执行，那么应用再取下数据即可(zk.getData("/APP1",false,null));

以上这个例子只是简单的粗颗粒度配置监控，细颗粒度的数据可以进行分层级监控，这一切都是可以设计和控制的。

(2)集群管理
应用集群中，我们常常需要让每一个机器知道集群中（或依赖的其他某一个集群）哪些机器是活着的，并且在集群机器因为宕机，网络断链等原因能够不在人工介入的情况下迅速通知到每一个机器。

Zookeeper同样很容易实现这个功能，比如我在zookeeper服务器端有一个znode叫/APP1SERVERS,那么集群中每一个机器启动的时候都去这个节点下创建一个EPHEMERAL类型的节点，比如server1创建/APP1SERVERS/SERVER1(可以使用ip,保证不重复)，server2创建/APP1SERVERS/SERVER2，然后SERVER1和SERVER2都watch /APP1SERVERS这个父节点，那么也就是这个父节点下数据或者子节点变化都会通知对该节点进行watch的客户端。因为EPHEMERAL类型节点有一个很重要的特性，就是客户端和服务器端连接断掉或者session过期就会使节点消失，那么在某一个机器挂掉或者断链的时候，其对应的节点就会消失，然后集群中所有对/APP1SERVERS进行watch的客户端都会收到通知，然后取得最新列表即可。

另外有一个应用场景就是集群选master,一旦master挂掉能够马上能从slave中选出一个master,实现步骤和前者一样，只是机器在启动的时候在APP1SERVERS创建的节点类型变为EPHEMERAL_SEQUENTIAL类型，这样每个节点会自动被编号，例如

zk.create("/testRootPath/testChildPath1","1".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);
zk.create("/testRootPath/testChildPath2","2".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);
zk.create("/testRootPath/testChildPath3","3".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);
// 创建一个子目录节点
zk.create("/testRootPath/testChildPath4","4".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(zk.getChildren("/testRootPath", false));
打印结果：[testChildPath10000000000,testChildPath20000000001, testChildPath40000000003, testChildPath30000000002]

zk.create("/testRootPath", "testRootData".getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
// 创建一个子目录节点
zk.create("/testRootPath/testChildPath1","1".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
zk.create("/testRootPath/testChildPath2","2".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
zk.create("/testRootPath/testChildPath3","3".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
// 创建一个子目录节点

zk.create("/testRootPath/testChildPath4","4".getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);
System.out.println(zk.getChildren("/testRootPath", false));
打印结果:[testChildPath2, testChildPath1, testChildPath4,testChildPath3]

我们默认规定编号最小的为master,所以当我们对/APP1SERVERS节点做监控的时候，得到服务器列表，只要所有集群机器逻辑认为最小编号节点为master，那么master就被选出，而这个master宕机的时候，相应的znode会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为最小编号节点为master，这样就做到动态master选举。

参考：

Windows安装和使用zookeeper

http://www.cnblogs.com/shanyou/p/3221990.html

zookeeper使用和原理探究（一）

http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

用心工作-快乐生活

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Zookeeper入门

1. Zookeeper简介zookeeper 是Hadoop的分布式协调服务，用来构建一般的分布式应用。主要用于信息在网络中的节点间进行传送时，由于出现网络错误而出现的“部分失败”。Zookeeper的核心是一个精简的文件系统。Zookeeper具有以下特点：1、 Zookeeper是简单的Zookeeper的核心是一个精简的文件系统。2、 Zookeeper是富
复制链接

扫一扫