zookeeper 单机部署、伪集群部署、集群部署

最新推荐文章于 2024-10-12 21:54:00 发布
最新推荐文章于 2024-10-12 21:54:00 发布
阅读量164 收藏
点赞数
文章标签： zookeeper 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45241737/article/details/116175040
版权

目录

环境准备

单机模式部署

  1. 上传安装包到服务器的 /opt 目录

  2. 解压安装包，并且移动到 /usr/local 目录

    cd /opt
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
mv apache-zookeeper-3.7.0-bin /usr/local/apache-zookeeper-3.7.0

  3. 创建用来存放事务日志和快照的目录

    cd /usr/local/apache-zookeeper-3.7.0
mkdir data

  4. 复制 zoo_sample.cfg 为 zoo.cfg

    cd conf
cp zoo_sample.cfg zoo.cfg

  5. 修改配置文件 zoo.cfg 的 dataDir 配置

    ​ vi zoo.cfg

    dataDir=/usr/local/apache-zookeeper-3.7.0/data

  6. 启动服务

    cd ../bin
./zkServer.sh start

  7. 测试

    ./zkServer.sh status
jps
./zkCli.sh

    image-20210426212314463

伪集群模式部署

  1. 只有一台机器的时候可以实现伪集群模式

  2. 按照 单机模式部署一直执行到第4步结束之后，继续以下步骤

  3. 复制三个 zookeeper 文件夹

    cd /usr/local # 进入 /usr/local 目录
cp -r apache-zookeeper-3.7.0/ zookeeper1
cp -r apache-zookeeper-3.7.0/ zookeeper2
cp -r apache-zookeeper-3.7.0/ zookeeper3

  4. 在每个 zookeeper 文件夹的 data 目录下增加 myid 文件，表示 server id

    echo 1 > zookeeper1/data/myid
echo 2 > zookeeper2/data/myid
echo 3 > zookeeper3/data/myid

  5. 修改三个配置文件为以下内容,只有 dataDir 和 clientPort 不同，配置文件参数详解见文末

    vi zookeeper1/conf/zoo.cfg

    tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper1/data
clientPort=2181
 
server.1=192.168.86.101:2777:3777
server.2=192.168.86.101:2888:3888
server.3=192.168.86.101:2999:3999

    vi zookeeper2/conf/zoo.cfg

    tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper2/data
clientPort=2182
 
server.1=192.168.86.101:2777:3777
server.2=192.168.86.101:2888:3888
server.3=192.168.86.101:2999:3999

    vi zookeeper3/conf/zoo.cfg

    tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper3/data
clientPort=2183
 
server.1=192.168.86.101:2777:3777
server.2=192.168.86.101:2888:3888
server.3=192.168.86.101:2999:3999

  6. 启动服务

    ./zookeeper1/bin/zkServer.sh start  zookeeper1/conf/zoo.cfg
./zookeeper2/bin/zkServer.sh start  zookeeper2/conf/zoo.cfg
./zookeeper3/bin/zkServer.sh start  zookeeper3/conf/zoo.cfg

  7. 测试

    ./zookeeper1/bin/zkServer.sh status
./zookeeper2/bin/zkServer.sh status
./zookeeper3/bin/zkServer.sh status

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mZ4PnUC4-1619444940465)(https://gitee.com/pengxianyang/cloudimage/raw/master/img/1619424044(1)].png)

集群模式部署

  1. 集群模式至少需要 2N+1 台机器，N > 0

  2. 在三台机器上分别按照 单机模式部署 完成到第4步结束后进行以下操作

  3. 在每台机器上均修改 zoo.cfg 为以下内容

    vi zoo.cfg

    tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/apache-zookeeper-3.7.0/data
clientPort=2181
 
server.1=192.168.86.101:2888:3888
server.2=192.168.86.102:2888:3888
server.3=192.168.86.103:2888:3888

  4. 在每台机器上的 dataDir 目录下创建 myid 文件，在该文件的第一行写上一个数字，和 zoo.cfg 中当前机器编号对应上

    • 机器 192.168.86.101 对应编号 1，则执行

      echo 1 > /usr/local/apache-zookeeper-3.7.0/data/myid

    • 机器 192.168.86.102 对应编号 2，则执行

      echo 2 > /usr/local/apache-zookeeper-3.7.0/data/myid

    • 机器 192.168.86.103 对应编号 3，则执行

      echo 3 > /usr/local/apache-zookeeper-3.7.0/data/myid

  5. 启动三台服务器

    cd /usr/local/apache-zookeeper-3.7.0/bin
./zkServer.sh start

  6. 测试

    ./zkServer.sh status

配置文件详解

参数名说明必须默认值
clientPort用于配置当前服务器对外的服务端口，客户端会通过该端口和 zookeeper 服务器创建连接，一般设置为 2181。
在集群中每台服务器都可以配置任意可用的端口，同时，集群中的所有服务器不需要保持 clientPort 一致。
不支持系统属性方式配置		是无
dataDir用于配置 zookeeper 服务器存储快照文件的目录。默认情况下，如果没有配置参数 dataLogDir，那么事务日志也会存储在这个目录中。考虑到事务日志的写性能直接影响 zookeeper 整体的服务能力，因此建议同时通过参数 dataLogDir 来配置 zookeeper 事务日志的存储目录。
不支持系统属性方式配置		是无
tickTime用于配置 zookeeper 中最小时间单元的长度，很多运行的时间间隔都是使用 tickTime 的倍数来表示的。例如，zookeeper 中会话的最小超时时间默认是 2* tickTime。
不支持系统属性方式配置		是3000ms
dataLogDir用于配置 zookeeper 服务器存储事务日志文件的目录。默认情况下，zookeeper 会将事务日志文件和快照数据存储在同一个目录中。如果条件允许，可以将事务日志的存储配置在一个单独的磁盘上。事务日志记录对于磁盘的性能要求非常高，为了保证数据的一致性，zookeeper 在返回客户端事务请求响应之前，必须将本次请求对应的事务日志写入到磁盘中。因此，事务日志的写入的性能直接决定了 zookeeper 在处理事务请求时的吞吐。针对同一块磁盘的其它并发读写操作(如 zookeeper 运行时日志输出和操作系统自身的读写等)，尤其是前面的数据快照操作，会极大的影响事务日志的写性能。因此尽量给事务日志的输出配置一个单独的磁盘或者是挂载点，将极大的提升 zookeeper 的整体能力。
不支持系统属性方式配置		否dataDir的值
initLimit用于配置 leader 服务器等待 follower 启动，并完成数据同步的时间。 follower 服务器在启动过程中，会与 leader 建立连接并完成对数据的同步，从而确定自己对外提供服务的起始状态。leader 服务器允许 follower 在 initLimit 时间内完成这个工作。
一般情况下，使用默认值就可以了，但 随着 zookeeper 集群管理的数据量增大， follower 服务器在启动的时候，从 Leader 上运行同步数据的时间也会相应变长，于是无法在较短的时间内完成数据同步，那么可以适当调大这个参数。
不支持系统属性方式配置		否10 * tickTime
syncLimit用于配置 leader 服务器和 follower 之间进行心跳检测的最大延时时间。在 zookeeper 集群运行过程中，Leader 服务器会与所有的 Follower 进行心跳检测来确定服务器是否存活。如果 Leader 服务器在 syncLimit 时间内无法获取到 follower 的心跳检测响应，那么 leader 就会认为该 follower 已经脱离了和自己的同步。
一般情况下，使用默认值即可，但如果部署 zookeeper 集群的网络环境质量较低（例如网络延时较大或丢包严重），那么可以适当调大这个参数。
不支持系统属性方式配置		否5 * tickTime
snapCount用于配置相邻两次数据快照之间的事务快照次数，即 zookeeper 会在 snapCount 次事务操作之后进行一次数据快照。默认值 100000
仅支持系统属性方式配置：zookeeper.snapCount		否100000
preAllocSize用于配置 zookeeper 事务日志文件预分配的磁盘空间大小
一般情况下，使用默认值即可，但如果我们将参数 snapCount 设置为比默认值更大或更新，那么 preAllocSize 参数也要随之作出变更。例如：如果我们将 snapCount 的值设为 500，同时预计每次事务操作的数据量大小最多为 1KB，那么参数 preAlloSize 设置为 500 就足够了。
仅支持系统属性方式配置: zookeeper.preAllocSize		否65535kb
minSessionTimeout
maxSessionTimeout		用于服务端对客服端会话的超时时间进行限制，如果客户端设置的超时时间不在这个范围内，那么会被服务端强制设置为最大或最小的超时时间。
不支持系统属性方式配置		否2 * tickTime
20 * tickTime
maxClientCnxns从 socket 层面限制单个客户端与单台服务器之间的并发连接数，即以IP地址粒度来进行连接数的限制。如果把该参数设置为0，则表示对连接数不作任何限制
注意，这里仅仅只是对单台客户端机器与单台 zookeeper 服务器之间的连接数限制，并不能控制所有客户端的连接数总和。
不支持系统属性方式配置		否60
jute.maxbuffer用于配置单个数据节点(ZNode) 上可以存储的最大数据量大小。由于 zookeeper 上不适宜存储太多的数据，往往需要将该参数设置为更小。
需要注意的是，在变更该参数的时候，需要在 zookeeper 集群中所有机器以及所有的客户端上均设置才能生效。
仅支持系统属性方式配置: jute.maxbuffer		否1M
clientPortAddredd针对那些多网卡的机器，该参数允许为每个IP地址指定不同的监听端口。
不支持系统属性方式配置		否无
server.id=host:port:port用于配置组成 zookeeper 集群的机器列表，其中 id 即为 server id，与每台服务器的 myid 文件中的数字相对应。同时，在该参数中，会配置两个端口：第一个端口用于指定 follower 服务器与 leader 进行运行时通信和数据同步时所使用的端口、第二个端口则专门用于进行 leader 选举过程中的投票通信。
在 zookeeper 服务器启动的时候，其会根据 myid 文件中配置的 server id 来确定自己是哪台服务器，并使用对应的端口来进行启动。如果在实际使用过程中，需要在同一台机器上部署多个 zookeeper 实例来构成伪集群的话，那么这些端口都需要配置成不同，如：
server.1=192.168.86.101:2777:3777
server.2=192.168.86.101:2888:3888
server.3=192.168.86.101:2999:3999
不支持系统属性方式配置		否无
autopurge.snapRetainCount用于配置 zookeeper 在自动清理的时候需要保留的快照数据文件数量和对应的事务日志文件。需要注意的是，并不是磁盘上所有的事务日志和快照数据文件都可以被清理掉，那样的话将无法恢复数据。因此参数 autopurge.snapRetainCount 的最小值是 3，如果配置的 autopurge.snapRetainCount 比3小的，那么会自动调整到3，即至少需要保留3个快照数据文件和对应的事务日志文件。
不支持系统属性方式配置		否。3
autopurge.purgeInterval用于配置 zookeeper 进行历史文件自动清理的频率。如果配置该值为0或负数，那么就表明不需要开启定时清理的功能。zookeeper 默认不开启这个功能。
不支持系统属性方式配置		否0
fsync.warningthresholdms用于配置 zookeeper 进行事务日志 fsync 操作时消耗时间的报警阈值。一旦进行一个 fsync 操作消耗的时间大于参数 fsync.warningthresholdms 配置的值，那么就会在日志中打印出报警日志
仅支持系统属性方式配置: zookeeper.warningthresholdms		否1000ms
forceSync用于配置 zookeeper 服务器是否在事务提交的时候，将日志写入操作强制刷入磁盘，默认情况下时“yes”,即每次事务日志写入操作都会实时刷入到磁盘。如果设置为“no”,则能一定程度上提高 zookeeper 的写性能，但同时也会存在类似于机器断电这样的安全风险
仅支持系统属性方式配置: zookeeper.forceSync		否yes
globalOutstandingLimit用于配置 zookeeper 服务器最大请求堆积数量。在 zookeeper 服务器运行的过程中，客户端会源源不断的将请求发送到服务端，为了防止服务端资源(包括 CPU、内存和网络等)耗尽，服务端必须限制同时处理的请求数，即最大请求堆积数量
仅支持系统属性方式配置: zookeeper.globalOutstandingLimit		否1000
leaderServes用于配置 leader 服务器能否接受客户端的连接，即是否允许 leader 向客户端提供服务，默认情况下，leader 服务器能够接受并处理客户端的所有读写请求。在 zookeeper 的架构设计中，leader 主要用来进行对事务更新请求的协调以及集群本身的运行时协调，因此，可以设置让 leader 服务器不接受客户端连接，专注于进行分布式协调
仅支持系统属性方式配置: zookeeper.leaderServes		否yes
skipAcl用于配置 zookeeper 是否跳过 ACL 权限检查，默认情况下是 “no”，即会对每一个客户端请求进行权限检查。如果将其设置为 “yes”，则能一定程度的提高 zookeeper 的读写性能，但同时也将向所有客户端开放 zookeeper 的数据，包括那些之前设置过 ACL 权限的数据节点，也将不再接受权限控制
仅支持系统属性方式配置: zookeeper.skipACL		否no
cnxTimeout用于配置在 leader 选举过程中，各服务器之间进行 TCP 连接创建的超时时间。
仅支持系统属性方式配置: zookeeper.cnxTimeout		否5000ms

常见问题

  1. 集群模式下，启动第一台时，使用 ./zkServer.sh status 发现系统不正常。

    答：使用 ps -ef | grep java 可以发现进程存在，但使用 ./zkServer.sh status查看状态时却没有成功，原因是集群环境下当前只启动了一台，无法进行选主，此时这台机器处于 LOOKING 状态；只要当第二台机器启动之后，则会发现一台机器为 follower ，一台为 leader。

参考资料

  • 从Paxos到Zookeeper 分布式一致性原理与实践 作者: 倪超
所以啊～
关注
Zookeeper 单机和集群环境部署教程
qq_42568323的博客
08-10 1301
通过以上步骤，我们完成了 Zookeeper 的单机和集群环境部署，并实现了 Java 和 Python的分布式锁示例。Zookeeper 提供了强大的分布式协调能力，可用于实现分布式锁、配置管理等功能。
Windows 10环境zookeeper单机伪集群部署和配置
2401_84048521的博客
04-01 489
现在都说互联网寒冬，其实无非就是你上错了车，且穿的少（技能），要是你上对车，自身技术能力够强，公司换掉的代价大，怎么可能会被裁掉，都是淘汰末端的业务Curd而已！懂得多是自己的加分项 而不是必须项。把E:\zk\zk1\zookeeper\conf\zoo.cfg文件编辑好后，再把这个文件复制两份，分别放在E:\zk\zk2\zookeeper\conf\和E:\zk\zk3\zookeeper\conf下。其中，E:\zk\zk1下面的tmp，以及tmp下面的data和log是需要手动创建的目录。
zookeeper伪集群部署
weixin_50842121的博客
01-26 1710
一、下载zookeeper，Apache官网下载：https://zookeeper.apache.org/releases.html 二、打开Xshell，连接远程服务器，使用Linux命令对远程服务器进行操作。 三、将压缩包上传到linux，并解压zookeeper（位置自己选择） 四、在/opt下新建myzookeeper目录，并复制三份解压好的zookeeper到目录下，分别命名zk01，zk02，zk03 五、zookeeper使用的配置文件是zoo.cfg ，分别将.
zookeeper 单机集成部署
weixin_33709219的博客
12-27 364
概述 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等，是很多分布式的基础设置，比如dubbo，kafka，hbase等。zookeeper 可以单机部署，单独使用，一般需要做集群部署。你运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就越高...
Zookeeper快速入门：部署服务、基本概念与操作
最新发布
TracyCoder的博客
10-12 1236
持久节点 (Persistent Node)不会自动删除。可以有子节点。适用于需要长期存在的数据。临时节点 (Ephemeral Node)客户端会话结束时自动删除。不能有子节点。适用于表示客户端的存在或状态。持久顺序节点 (Persistent Sequential Node)不会自动删除。创建时自动添加序列号。适用于需要唯一标识符的场景，例如任务分配。临时顺序节点 (Ephemeral Sequential Node)客户端会话结束时自动删除。创建时自动添加序列号。
单台机器部署zookeeper伪集群
weixin_33734785的博客
08-12 127
  做测试没有多台机器又不想做虚拟机, 通过单独配置zoo.conf实现单机器部署zookeeper集群. 1. 集群配置文件编写     zookeeper服务1:clientPort=2181 dataDir=/var/data/zookeeper/1.machine tickTime=2000 initLimit=5 syncLimit=2 server.1=127.0.0.1:20881:...
zookeeper单机部署
隐0士的博客
06-30 650
zookeeper需要依赖jdk，所以先需要在机器安装jdk，我这边是装了jdk8。从官网下载编译好的bin二进制包，如我这里选择了stable的3.6.3版本 下载完后执行解压命令： tar -zxvf apache-zookeeper-3.5.9-bin.tar.gzZOOKEEPER_HOME配置为zookeeper的解压路径 使配置文件生效 验证是否生效 修改配置文件 自定义数据目录 修改配置文件 自此，zookeeper单机版就安装完成了...
单机部署zookeeper集群
ggz 的博客
08-18 808
ZooKeeper由5台服务器 SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻3和5服务器出现故障，因此开始进行Leader选举。对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。①当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举。• 集群中存在Leader。
Kafka： Linux环境-单机部署和伪集群、集群部署
喜欢历史的码农
11-26 382
（2）修改配置，此配置用于消息发布与订阅的ip。将listeners的ip修改为当前部署kafka的服务器ip。和kafka压缩包，先下载zookeeper，如下。">"后后面的内容就是新建的topic。standalone代表单机启动。（4）新建topic并查看状态。（5）生产消息和消费消息。（2）启动并查看状态。（3）启动kafka。
Zookeeper 单机部署
LCK 博客
07-28 1262
一、配置 java 环境 apt install openjdk-8-jdk java -version openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-8u222-b10-1ubuntu1~18.04.1-b10) OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode) 二、部署 ZooKeeper 官网下载地址：https://archive.
Zookeeper部署
qq_39316356的博客
04-27 434
目录 1、单机部署 1.1、Windows环境 1.2、Linux环境 2、集群部署 3、伪集群部署 部署之前要确保Zookeeper所在的环境已配置好JDK。 1、单机部署 1.1、Windows环境 解压“zookeeper-3.4.10.tar.gz” 在zookeeper根路径下打开conf文件夹，然后复制“zoo_sample.cfg”文件并重命名为“zoo.cfg” ...
Zookeeper 注册中心：单机部署
DC1020的博客
05-13 1037
本文给大家介绍 Zookeeper 单机部署流程、 如何与 Spring 整合使用。除此之外，还有 Zookeeper 作为注册中心与 SpringCloud 的整合流程。
Zookeeper单机部署和集群部署
u010277958的博客
06-17 1715
zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 1. 系统环境准备 操作系统 ：centos7 java 环境：jdk8 我搭建的是自centos7的linux下，先配置好java的配置环境，然后下载zookeeper的相关的jar进行部署 2.zookeeper部署 下 载 zookeeper 安装包：...
zookeeper单机与集群的部署
热门推荐
morris
10-16 3万+
zookeeper单机与集群的部署 zookeeper采用java语言开发，所以zookeeper的运行需要安装JDK。 安装环境： # cat /proc/version Linux version 3.10.0-123.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.2 20140120 (Red Hat 4.8.2-16) (GCC) ) #1 SMP Mon Jun 30 12:09:22 UTC 2014 # cat /
zookeeper系列：单机模式部署
哇哇哇，真的学到了！！！
01-19 4132
一、官方网站下载安装包 Index of /zookeeper 选择需要的版本，下载相关压缩包（例：apache-zookeeper-3.7.0-bin.tar.gz） 二、正式安装 1、解压目录，并且新建data目录 [root@i-slebi7x6 opt]# cd zookeeper/ [root@i-slebi7x6 zookeeper]# ls apache-zookeeper-3.7.0.tar.gz [root@i-slebi7x6 zookeeper]# tar -z..
Zookeeper服务部署方式简介：单机、伪集群、集群模式安装指南
Zookeeper的安装方式有三种，分别是单机模式、伪集群模式和集群模式。在单机模式下，Zookeeper只运行在一台服务器上，适合用于测试环境或者小规模的应用场景。而伪集群模式则是在一台物理机上运行多个Zookeeper实例...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值