Zookeeper本地以及集群模式安装

最新推荐文章于 2024-09-18 13:20:46 发布

w4xj

最新推荐文章于 2024-09-18 13:20:46 发布

阅读量331

点赞数

分类专栏： zookeeper 文章标签： zk zookeeper安装本地模式集群模式

本文链接：https://blog.csdn.net/sltylzx/article/details/88616724

版权

zookeeper 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1.官网地址https://zookeeper.apache.org/

下载地址http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/

2.本地模式安装

[1].前提安装好jdk

[2].上传到服务器上，这里版本是zookeeper-3.4.10.tar.gz

[3].确保tar包的用户组

[4].解压到指定目录

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

[5].修改配置

①.将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；

②.进入zoo.cfg文件：

vim zoo.cfg

③.修改dataDir

dataDir=/opt/module/zookeeper-3.4.10/zkData

④.在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹，注意用户权限

mkdir zkData

3.操作zookeeper

[1].启动zookeeper

[w4xj@node202 bin]$ ./zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

[2].查看进程是否启动

[w4xj@node202 bin]$ jps

2320 QuorumPeerMain

2366 Jps

[3].查看状态：

[w4xj@node202 bin]$ ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: standalone

[4].启动客户端：

[w4xj@node202 bin]$ ./zkCli.sh

Connecting to localhost:2181

2019-03-17 10:44:26,003 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT

2019-03-17 10:44:26,010 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=node202

2019-03-17 10:44:26,010 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_144

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/opt/module/jdk1.8.0_144/jre

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/opt/module/zookeeper-3.4.10/bin/../build/classes:/opt/module/zookeeper-3.4.10/bin/../build/lib/*.jar:/opt/module/zookeeper-3.4.10/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/module/zookeeper-3.4.10/bin/../lib/slf4j-api-1.6.1.jar:/opt/module/zookeeper-3.4.10/bin/../lib/netty-3.10.5.Final.jar:/opt/module/zookeeper-3.4.10/bin/../lib/log4j-1.2.16.jar:/opt/module/zookeeper-3.4.10/bin/../lib/jline-0.9.94.jar:/opt/module/zookeeper-3.4.10/bin/../zookeeper-3.4.10.jar:/opt/module/zookeeper-3.4.10/bin/../src/java/lib/*.jar:/opt/module/zookeeper-3.4.10/bin/../conf:

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-514.el7.x86_64

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=w4xj

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/home/w4xj

2019-03-17 10:44:26,012 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/opt/module/zookeeper-3.4.10/bin

2019-03-17 10:44:26,013 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@5c29bfd

Welcome to ZooKeeper!

JLine support is enabled

2019-03-17 10:44:26,286 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)

2019-03-17 10:44:26,372 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@876] - Socket connection established to localhost/127.0.0.1:2181, initiating session

2019-03-17 10:44:26,487 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x1698986d8cb0000, negotiated timeout = 30000





WATCHER::





WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2181(CONNECTED) 0]

[5].退出客户端：

[zk: localhost:2181(CONNECTED) 0] quit

Quitting...

2019-03-17 10:44:45,678 [myid:] - INFO  [main:ZooKeeper@684] - Session: 0x1698986d8cb0000 closed

2019-03-17 10:44:45,679 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@519] - EventThread shut down for session: 0x1698986d8cb0000

[w4xj@node202 bin]$

[6].停止zookeeper

[w4xj@node202 bin]$ ./zkServer.sh stop

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Stopping zookeeper ... STOPPED

4.配置参数解读：解读zoo.cfg 文件中参数含义

[1].tickTime=2000：通信心跳数

tickTime：通信心跳数，Zookeeper服务器心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

[2].initLimit=10：LF初始通信时限

initLimit：LF初始通信时限

集群中的follower跟随者服务器(F)与leader领导者服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

投票选举新leader的初始化时间

Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。

Leader允许F在initLimit时间内完成这个工作。

[3.]syncLimit=5：LF同步通信时限

syncLimit：LF同步通信时限

集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，

Leader认为Follwer死掉，从服务器列表中删除Follwer。

在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。

如果L发出心跳包在syncLimit之后，还没有从F那收到响应，那么就认为这个F已经不在线了。

[4].dataDir：数据文件目录+数据持久化路径

dataDir：数据文件目录+数据持久化路径

保存内存数据库快照信息的位置，如果没有其他说明，更新的事务日志也保存到数据库。

[5].clientPort=2181：客户端连接端口

5.选举机制

[1].半数机制：集群中半数以上机器存活，集群可用。所以zookeeper适合装在奇数台机器上。

[2].Zookeeper虽然在配置文件中并没有指定master和slave。但是，zookeeper工作时，是有一个节点为leader，其他则为follower，Leader是通过内部的选举机制临时产生的

[3].以一个简单的例子来说明整个选举的过程。

[4].假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。

①.服务器1启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是LOOKING状态。

②.服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

③.服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的leader。

④.服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

⑤.服务器5启动，同4一样当小弟。

6.节点类型

[1].Znode有两种类型：

①.短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除

②.持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除

[2].Znode有四种形式的目录节点（默认是persistent ）

①.持久化目录节点（PERSISTENT）

客户端与zookeeper断开连接后，该节点依旧存在

②.持久化顺序编号目录节点（PERSISTENT_SEQUENTIAL）

客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号

③.临时目录节点（EPHEMERAL）

客户端与zookeeper断开连接后，该节点被删除

④.临时顺序编号目录节点（EPHEMERAL_SEQUENTIAL）

客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

[3].创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

[4].在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

7.完全分布式搭建

[1].在本地模式的基础上新增集群配置信息，修改zoo.cfg

#######################cluster##########################

server.2=node202:2888:3888

server.3=node203:2888:3888

server.4=node204:2888:3888

[2].在dataDir的目录下新建一个myid的文件，内容为服务编号

[3].将整个zookeeper软件分发到集群其他节点上

[4].修改其他myid文件对应的编号

[5].启动node202，查看状态

[w4xj@node202 bin]$ ./zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

[w4xj@node202 bin]$ ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Error contacting service. It is probably not running.

[5].启动node203，查看状态，当选leader

[w4xj@node203 bin]$ ./zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

您在 /var/spool/mail/w4xj 中有新邮件

[w4xj@node203 bin]$ ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: leader

[w4xj@node203 bin]$

[6].再查看node202的状态，已经变成follower状态

[w4xj@node202 bin]$ ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg

Mode: follower

[7].再启动其他节点即可