zookeeper版本选择与配置参数调优

已于 2022-12-28 18:07:40 修改
阅读量8.1k 收藏 26
点赞数 3
分类专栏： zookeeper 文章标签： zookeeper flink
于 2022-12-16 17:17:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45971974/article/details/128343493
版权

一、zookeeper 发布策略

Apache ZooKeeper 社区一次支持两个发布分支：stable和current。ZooKeeper的稳定版本是 3.7.x，当前版本是 3.8.x。一旦发布新的次要版本，稳定版本预计将很快退役，大约半年后将宣布为 End-of-Life。在半年的宽限期内，预计只会为该版本发布安全和关键修复程序。宣布 EoL 后，社区不再提供进一步的补丁。所有 ZooKeeper 版本都可以从官方 Apache 档案中访问。

Apache ZooKeeper 3.8.0（当前版本）

Apache ZooKeeper 3.7.1（最新稳定版）

Apache ZooKeeper 3.6.3 （稳定版）

Apache ZooKeeper 3.5.10（3.5 自 2022 年 6 月 1 日起停产）

详细见zookeeper官网：zookeeper 版本介绍

1、版本选择

  • zookeeper版本上面已经介绍了当前最新版本3.8.0，版本选择我们最好不要选择最新版本（除非是修复了以前版本特别严重的bug），也不要选择特别老版本；选择中间版本就好，如上例子我们就可以选择 ZooKeeper 3.6.3 （稳定版）

  • 为什么不选择3.7.1，主要原因有以下2点
    1、业务背景是因为Flink-1.15 放弃对 Zookeeper 3.4.x 的支持，前面测试的zookeeper都是基于zookeeper 3.6.x做测试，这个时候如果我们用的是3.7.x ，那么对于开发而言又要增加测试成本的工作量
    2、这边在了解版本的时候，看到网上基本都是用的 ZooKeeper 3.6.x

  • Apache ZooKeeper 3.6.3 （稳定版）发行说明

  • Apache ZooKeeper 3.6.3 （稳定版）下载包地址

  • zookeeper 各个版本分支详见：zookeeper branch doc

在这里插入图片描述

2、Flink_ha 特性

Flink1.15 仅支持ZooKeeper3.5/3.6，不再支持3.4。

在这里插入图片描述
在这里插入图片描述

其中的ZooKeeper Versions描述默认使用3.4，可以自行调整为3.5。从文档上来看自1.11版本就添加了这段描述，到目前最新稳定版本(1.16.0)依然是这么描述的。其实在1.15的 ReleaseNote 中明确写了，不再支持3.4，网上已经有人验证过任务直接报错

二、zookeeper 参数优化

  • 不要使用zk的默认配置，默认配置就是一个定时炸弹

  • 在网上也找了一些相关优化参数，无非就主要的那么几个，下面列出需要调整的相关参数

1. 配置snapshot文件清理策略
autopurge.purgeInterval=1
autopurge.purgeInterval：开启清理事务日志和快照文件的功能，单位是小时。默认是0，表示不开启自动清理功能。
autopurge.snapRetainCount=10
autopurge.snapRetainCount：指定了需要保留的文件数目。默认是保留3个。

2. 限制snapshot数量
snapCount=3000000
每snapCount次事务日志输出后，触发一次快照(snapshot)。 ZooKeeper会生成一个snapshot文件和事务日志文件。 默认是100000。

3. log和data数据分磁盘存储
dataDir：存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。
dataLogDir：事务日志输出目录。尽量给事务日志的输出配置单独的磁盘或是挂载点，这将极大的提升ZK性能。

4. 调整JVM大小
ZooKeeper的JVM内存默认是根据操作系统本身内存大小的一个百分比预先分配的，所以这不是我们所需要的。

在./bin/zkEnv.sh文件中，有如下配置项：
if [ -f "$ZOOCFGDIR/java.env" ]
then
    . "$ZOOCFGDIR/java.env"
fi
我们在./conf/java.env文件中配置JVM的内存，增加如下配置：
export JAVA_HOME=/usr/local/java/jdk1.8.0_151
export JVMFLAGS="-Xms10240m -Xmx20480m $JVMFLAGS"
修改完成使用jmap -heap $pid来验证内存修改情况。

5. ZNode中可以存储数据星的最大值，默认值是1M。
jute.maxbuffer
修改jvm内存参数jute.maxbuffer大小调整到10M=10240KB=10485760Bytes
修改bin/zkServer.sh或者zkEnv.sh
JVMFLAGS="$JVMFLAGS -Djute.maxbuffer=10485760"

tickTime=2000
ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。例如，session的最小超时时间是2*tickTime。 默认值2000，单位毫秒。

initLimit=10
Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许F在 initLimit 时间内完成这个工作。通常情况下，我们不用太在意这个参数的设置。如果ZK集群的数据量确实很大了，Flower在启动的时候，从Leader上同步数据的时间也会相应变长，因此在这种情况下，有必要适当调大这个参数了。
initLimit=30000

syncLimit=5
在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果Leader发出心跳包在syncLimit之后，还没有从Flower那里收到响应，那么就认为这个Flower已经不在线了。注意：不要把这个参数设置得过大，否则可能会掩盖一些问题。

maxClientCnxns=500
单个客户端与单台服务器之间的连接数的限制，是ip级别的，默认是60，如果设置为0，那么表明不作任何限制。请注意这个限制的使用范围，仅仅是单台客户端机器与单台ZK服务器之间的连接数限制，不是针对指定客户端IP，也不是ZK集群的连接数限制，也不是单台ZK对所有客户端的连接数限制。

maxSessionTimeout=60000000
Session超时时间限制，如果客户端设置的超时时间不在这个范围，那么会被强制设置为最大或最小时间。默认的Session超时时间是在2 * tickTime ~ 20 * tickTime 这个范围

preAllocSize=131072
预先开辟磁盘空间，用于后续写入事务日志。默认是64M，每个事务日志大小就是64M。如果ZK的快照频率较大的话，建议适当减小这个参数。单位kb。

ZooKeeper的磁盘建议使用SSD，因为zookeeper必须具有低延迟磁盘写入才能以最佳方式执行。对zookeeper的每个请求都必须提交到仲裁中每个服务器上的磁盘上，然后才能读取结果。对于生产部署，建议在每个zookeeper服务器上使用大小至少为64 gb的专用ssd。

三、最终参数配置

# cat conf/zoo.cfg 
autopurge.purgeInterval=24
autopurge.snapRetainCount=5
clientPort=2181
dataDir=/data/zookeeper
dataLogDir=/log/zookeeper
initLimit=10
maxClientCnxns=500
maxSessionTimeout=60000
minSessionTimeout=4000
syncLimit=5
tickTime=2000
4lw.commands.whitelist=*
metricsProvider.exportJvmInfo=true
skipACL=yes
forceSync=no
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
server.1=0.0.0.1:2888:3888
server.2=0.0.0.2:2888:3888
server.3=0.0.0.3:2888:3888

1、其他参数介绍

  • 主要配置上面已经介绍了，有几个参数没有介绍的，参数介绍如下
# 3.4.10 中的新功能，此属性包含逗号分隔的四字母单词命令列表。引入它是为了对 ZooKeeper 可以执行的命令集提供细粒度的控制
4lw.commands.whitelist=*
# 如果将此属性设置为true，则Prometheus.io将导出有关JVM的指标，默认值为true
metricsProvider.exportJvmInfo=true
# metric Prometheus 监控配置，如果用的其它监控方案这里可以注释掉
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
# metric Prometheus 监控端口，同上，如果用的其它监控方案这里可以注释掉
metricsProvider.httpPort=7000

相关参考借鉴：
Flink_zookeeper版本
zookeeper配置优化

柠檬味的鱼°
关注
  • 3
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Zookeeper 服务器端和客户端扩大节点数据1M大小限制
zyq_2014的博客
01-06 1万+
Zookeeper中每个结点默认的数据量上限是1M，如果需要存入大于1M的数据量，则要修改jute.maxbuffer参数，先来看下zookeeper中这个参数的意义 jute.maxbuffer： 默认值1048575，单位字节，用于配置单个数据节点（ZNode）上可以存储的最大数据大小。需要注意的是，在修改该参数的时候，需要在zookeeper集群的所有服务端以及客户端上设置才能生效。 接...
中间件参数调优手册大全.pdf
07-04
包含了常用的MySQL、Redis、RocketMQ、Kafka、Elasticsearch、PostgreSQL、ZooKeeper、Nacos、配置参数详细说明。 这份文档是工作中整理的，现在分享出来，希望给用到的同行提供个参考。 后续如果有其它开发中间件的...
Zookeeper3.4.6版本升级到3.6.2版本安装与配置
weixin_51485976的博客
05-16 8360
由于clickhouse集群可视化ckman需求，需要将Zookeeper3.4.6版本升级到3.6.2提示：以下是本篇文章正文内容，下面案例可供参考1.升级过程一定要保持myid与zookeeper_server.pid一致2.升级过程一定要保持dataDir，dataLogDir与原版本一致3.保证数据质量和集群可用性。
zookeeper常用命令
m0_63040701的博客
07-26 4725
可以是具体IP也可以是IP/bit格式，即IP转换为二进制，匹配前bit位，如192.168.0.0/16匹配192.168..节点的数据是有版本概念的，这个参数用于指定本次更新操作是基于ZNode的哪一个数据版本进行的。语法：setAcl 路径 world:anyone:权限。语法：setAcl 路径 digest:用户:密码:权限。默认情况下，不添加-s或者-e参数的，创建的是持久节点。语法：setAcl 路径 auth:用户:权限。语法：setAcl 路径 ip:参数:权限。
11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）
最新发布
wangluoanquan111的博客
03-27 1529
网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
查看zookeeper的版本号
sinat_27818621的博客
08-30 3万+
1.yum -y install nc 2.echo stat|nc ip port 有些时候，第二步执行时候会报错： stat is not executed because it is not in the whitelist. 解决方法： 1.那么需要停止 zookeeper bin/zkServer.sh stop 2.编辑zkServer.sh vim bin/zkServer.sh 在下图处添加一行代码： ZOOMAIN="-Dzookeeper.4lw...
2021最新的ZooKeeper安装
zuodingquan666的博客
07-28 1万+
ZooKeeper 是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper 通过其简单的架构和 API 解决了这个问题。ZooKeeper 允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。 1 安装Zookeeper 1.1 zookeeper下载 因为zookeeper下的一款开源应用，所以我们要去Apache里面下载： Apache ZooKeeper 从上面可以看出，3.7.0版本是最新版本，然后后面可以看到，
2，zookeeper 版本选择
孙砚秋的博客
05-22 1万+
1 ，zookeeper 的发行版本 ：        常见的有apache 版，cdh 版，Hortonworks版本，我们常用 cdh 版。 2 ，apache 版本：         最原始的版本，所有发行版均基于这个版本进行改进。        Apache-zookee...
kafka配置调优1
08-08
本篇文章将深入解析Kafka的核心配置参数，并探讨如何优化这些参数以提升性能。 1. **Broker身份标识**： `broker.id` 是每个Kafka节点在集群中的唯一标识，不能与其他broker冲突，通常从0开始。 2. **服务端口**...
HBase配置项说明及调优建议.xlsx
03-17
hbase 常用参数含义，默认值，调优建议（必须参数，split,compaction,blockcache,memstore flush,hlog,zookeeper,其他，等相参数名称、含义、默认值、调优建议）
hadoop、habse、yarn、MapReduce调优等总结的集合调优.docx
12-05
此外，硬件配置、网络环境、JVM参数调优也是不可忽视的部分。例如，选择合适的Java版本（如Java 1.8.0），确保操作系统兼容性，合理设置JVM堆大小以平衡内存使用和GC性能，都是提升Hadoop性能的重要手段。 总结来说...
zk最新版本
03-10
适合不懂Java底层快速开发，这个框架整合Java与ajax之间的交互
zookeeper3.4.6超稳定版
11-09
zookeeper-3.4.6超稳定版本，有需要的朋友可直接下载搭建
HBase性能调优
12-09
首先，关于`Zookeeper.session.timeout`，这是RegionServer与Zookeeper之间的连接超时时间。默认设置为3分钟，即180000毫秒。当超过这个时间，RegionServer会被Zookeeper认为失效，并从RS集群中移除，导致HMaster...
2.0 Zookeeper 安装配置
二当家的
02-05 858
修改 zoo.cfg 配置文件，将 dataDir=/tmp/zookeeper 修改成 zookeeper 安装目录所在的 data 文件夹，再添加一条添加数据日志的配置(需要根据自己的安装路径修改)。选择一稳定版本，本教程使用的 release 版本为3.4.14，下载并安装。出现 Welcome to Zookeeper！，表示我们成功启动客户端。双击zkCli.cmd 启动客户端。，表示服务端启动成功!
Zookeeper生产常用命令大全（最新3.8.0版本）
健身变秃，coding变强
12-20 1万+
Zookeeper服务端命令、Zookeeper客户端端操作命令（create、set、get、ls、stat、delete、deleteall）、监听器watcher相关命令、zookeeper3.6.0版本开始支永久的监听器（addWatch、removewatches）、zookeeper永久监听器的两种模式。
zookeeper 客户端常用命令_Zookeeper的简单使用
weixin_39620535的博客
11-24 116
ZookeeperZookeeper是chubby 的开源实现,保证分布式一致性的特性。chubby 是 google 的，完全实现 paxos 算法，不开源。zookeeper 是 chubby的开源实现，使用 zab 协议，paxos 算法的变种。特点1. 顺序一致性 2. 原子性 3. 单一视图 4. 可靠性 5. 实时性（最终一致性）使用场景数据的发布订阅：一般包含两种模式推（Push）拉...
zookeeper入门到精通01——zookeeper入门
半旧518的博客
03-23 3110
1.zookeeper入门 1.1 概述 选择zookeeper3.5.7作为教程版本.Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。也就是说zookeeper可以为其它的分布式框架提供服务，而它本身也是分布式项目。 从设计模式的角度理解，zookeeper是一个基于观察者模式的设计模式，它可以存储一些大家都关心的数据，然后接受观察者的注册，一旦数据发生变化，就会通知到各个观察者们，使其做出相对应的反应。其实它就相当于一个文件系统+通知机制。 1.2 特点 1
ZooKeeper搭建系列集 （这套很全，也很详细）
热门推荐
shatelang的专栏
05-23 4万+
本篇文章结构： 总共包括10个系列    ZooKeeper系列之一：ZooKeeper简介   ZooKeeper系列之二：ZooKeeper数据模型、命名空间以及节点的概念    ZooKeeper系列之三：ZooKeeper的安装 ZooKeeper系列之四：ZooKeeper的配置 ZooKeep
zookeeper配置参数
10-15
Zookeeper的配置参数包括以下几个方面： 1. 数据目录（dataDir）：Zookeeper存储数据的目录，默认情况下是/tmp/zookeeper。 2. 客户端端口（clientPort）：Zookeeper监听客户端连接的端口，默认是2181。 3. 最大连接数（maxClientCnxns）：限制单个客户端与Zookeeper服务器的最大连接数，默认是60。 4. 选举端口（electionPort）：Zookeeper用于选举Leader的端口，默认是2888。 5. 通信端口（quorumPort）：Zookeeper集群中各个节点之间通信的端口，默认是2888。 6. 初始化连接时的超时时间（initLimit）：Zookeeper集群中Leader选举过程中，Follower与Leader建立连接的超时时间，默认是10秒。 7. 同步数据时的超时时间（syncLimit）：Zookeeper集群中Leader与Follower同步数据的超时时间，默认是5秒。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值