搭建zookeeper集群

原创 2018年04月17日 20:34:50

第一步:配置host

ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接,所以,在配置的ZooKeeper集群的时候,每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。
例如,/etc/hosts内容如下所示:

192.168.136.128 master
192.168.136.130 slave1
192.168.136.131 slave2

配置完成后执行source /etc/hosts
ZooKeeper采用Leader election的选举算法。在整个集群运行过程中,只有一个Leader,其他的都是Follower,如果ZooKeeper集群在运行过程中Leader出了问题,系统会采用该算法重新选出一个Leader。因此,各个结点之间要能够保证互相连接,必须配置上述映射。ZooKeeper集群启动的时候,会首先选出一个Leader,在Leader election过程中,某一个满足选举算的结点就能成为Leader。

第二步:修改ZooKeeper配置文件

在其中一台机器上,解压缩zookeeper-3.3.11.tar.gz,修改配置文件conf/zoo.cfg,内容如下所示:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/app/zookeeper-3.4.11/data
# the port at which the clients will connect
clientPort=2181
server.128=master:2888:3888
server.130=slave1:2888:3888
server.131=slave2:2888:3888

参数名 说明:

  • clientPort 无默认值,必须配置,不支持系统属性方式配置。当前服务器对外提供服务端口,客户通过此端口与服务器建立连接,一般设置为1281。集群中不需要统一端口,可任意配置端口。
  • dataDir 无默认值,必须配置。服务器存储快照文件目录。默认情况下,如果没有配置dataLogDir,那么事务日志也会存储在这个目录中。建议将事务日志目录独立配置。
  • tickTime 默认值:3000(ms),不支持系统属性方式配置。用于配置zookeeper中最小时间单元长度,很多运行时的时间间隔都是使用它的倍数来表示的。
  • initLimit Leader Zookeeper接收集群其他服务器初始化等待最大时间(10*tickTime)。
  • syncLimit Leader Zookeeper和集群其他服务器通信最大时间(5*tickTime)。

第三步:远程复制分发安装文件

上面已经在一台机器master上配置完成ZooKeeper,现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下:

sudo scp -r zookeeper-3.4.11 newad@slave1:/opt/app/zookeeper-3.4.11
sudo scp -r zookeeper-3.4.11 newad@slave2:/opt/app/zookeeper-3.4.11

第四步:设置myid

在我们配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X为什么数字,则myid文件中就输入这个数字

第五步:启动ZooKeeper集群

在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:
newad@ubuntu:/opt/app/zookeeper-3.4.11$ ./bin/zkServer.sh start
集群全部启动成功之前在zookeeper.out会有如下日志:

2018-03-27 07:51:40,693 [myid:128] - INFO  [QuorumPeer[myid=128]/0:0:0:0:0:0:0:0:2181:QuorumPeer$QuorumServer@184] - Resolved hostname: slave2 to address: slave2/192.168.136.131
2018-03-27 07:51:40,693 [myid:128] - INFO  [QuorumPeer[myid=128]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@854] - Notification time out: 25600
2018-03-27 07:51:55,329 [myid:128] - INFO  [master/192.168.136.128:3888:QuorumCnxManager$Listener@743] - Received connection request /192.168.136.130:43844
2018-03-27 07:51:55,335 [myid:128] - INFO  [WorkerReceiver[myid=128]:FastLeaderElection@602] - Notification: 1 (message format version), 130 (n.leader), 0x0 (n.zxid), 0x1 (n.round), LOOKING (n.state), 130 (n.sid), 0x0 (n.peerEpoch) LOOKING (my state)
2018-03-27 07:51:55,339 [myid:128] - WARN  [WorkerSender[myid=128]:QuorumCnxManager@584] - Cannot open channel to 131 at election address slave2/192.168.136.131:3888
java.net.ConnectException: Connection refused (Connection refused)
    at java.net.PlainSocketImpl.socketConnect(Native Method)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
    at java.net.Socket.connect(Socket.java:589)
    at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:558)
    at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:534)
    at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:454)
    at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:435)
    at java.lang.Thread.run(Thread.java:748)

这是由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以上面日志前面部分的异常是可以忽略的。

当全部节点启动成功之后查看zookeeper状态:

newad@ubuntu:/opt/app/zookeeper-3.4.11$ ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/app/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: leader

root@ubuntu:/opt/app/zookeeper-3.4.11# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/app/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: follower

ZooKeeper JMX enabled by default
Using config: /opt/app/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: follower

3台机器,1个leader其余2台为slave节点,证明集群启动成功

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq447995687/article/details/79980353

Zookeeper在windows搭建伪集群

  • 2017年10月19日 14:00
  • 221KB
  • 下载

zookeeper集群搭建实战

zookeeper集群搭建 1、搭建时的环境 CentOS 6.5 zookeeper-3.4.6.tar.gz jdk-7u25-linux-x64.gz 2、安装虚拟机  解压...
  • andyliulin
  • andyliulin
  • 2016-11-01 18:48:34
  • 729

Linux系统的Zookeeper集群环境搭建

说明:提供服务的机器数量2*n + 1 奇数台 至少要超过半数,zookeeper才可以提供服务,因为Zookeeper只允许半数宕机。 操作步骤: 下载Zookeeper安装包 下载地址:h...
  • yinkgh
  • yinkgh
  • 2016-08-24 16:49:06
  • 4934

Zookeeper 介绍 Zookeeper 搭建 Zookeeper 集群搭建

Zookeeper介绍 Zookeeper搭建 Zookeeper集群搭建
  • Jerome_s
  • Jerome_s
  • 2016-08-21 09:36:49
  • 2264

docker学习——zookeeper集群安装

docker学习——zookeeper集群安装 本文主要介绍zookeeper在docker的集群安装。 1、首先下载zookeeper docker pull zookeeper ...
  • wild46cat
  • wild46cat
  • 2017-09-09 22:08:33
  • 316

zookeeper集群搭建(windows环境下)

本次zk测试部署版本为3.4.6版本,下载地址http://mirrors.cnnic.cn/apache/zookeeper/ 限于服务器个数有限本次测试了两种情况 1、单节点方式:部署在一台服...
  • yusewuhen
  • yusewuhen
  • 2016-06-06 10:10:33
  • 4243

zookeeper手把手搭建伪分布集群环境

很多初学hbase、hive、kafka等hadoop生态圈的分布式组件的同仁都会面临在本地搭建zookeeper集群的情况,但是鉴于本地机器环境不满足多节点安装的时候,一个很好的替换措施就是本地搭建...
  • ahzsg1314
  • ahzsg1314
  • 2016-09-05 10:27:08
  • 1618

CentOS6.5搭建ZooKeeper集群与单机

服务器需要的系统环境 1.本文内容是在Linux(CentOS6.5)下搭建zookeeper集群,若想了解在windows下如何搭建zookeeper集群,可以移步到我的另一片文章zookeeper...
  • YZR_JAVA
  • YZR_JAVA
  • 2017-07-25 17:36:17
  • 344

zookeeper集群的搭建

zookeeper版本: Release 3.4.8(stable)操作系统: [root@lena101 zookeeper]# cat /etc/redhat-release Cent...
  • hardwin
  • hardwin
  • 2016-05-02 20:53:34
  • 946

zookeeper(三)--- 搭建zookeeper集群

前两篇文章简单的说了说什么是Zookeeper,它的应用场景以及它的一些简单的概念,本文详细的描述了如何去搭建一个Zookeeper集群。...
  • Senior_lee
  • Senior_lee
  • 2016-03-31 21:22:13
  • 1522
收藏助手
不良信息举报
您举报文章:搭建zookeeper集群
举报原因:
原因补充:

(最多只允许输入30个字)