ZK性能压力是否过大的判断方法以及相关核心指标

已于 2024-01-31 22:28:54 修改
阅读量958 收藏 7
点赞数 39
分类专栏： Zookeeper 分布式 中间件 文章标签： zookeeper 架构 中间件
于 2024-01-29 17:25:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43845924/article/details/135879075
版权
分布式 同时被 3 个专栏收录
42 篇文章 1 订阅
订阅专栏
中间件
20 篇文章 0 订阅
订阅专栏
Zookeeper
7 篇文章 0 订阅
订阅专栏

文章目录

zk服务端的基础指标没有发现明显异常，但是客户端时不时出现超时现象，由于部分客户端处理逻辑很简单，只是单存的读写zk，如果读写超时则断开相关链接，因此面临客户端和服务端之间的极限拉扯。对于生产环境中，如何判断一个zk集群压力，是否到达性能瓶颈，是一个重要的课题，本文探讨如何分析和判断zk集群是否压力过大，以及相关的指标。

1. 机器层面

  • cpu使用率不超过60%
  • 内存使用率不超过80%
  • 机器load不超过cpu核心数
  • 磁盘io，读写await不超1ms

2. GC层面

  • old gc不过于频繁

3. zk的相关指标

  • zk的排队请求队列，不超过200，
  • zk的watch数量，不超100w
  • zk的znode数量不超过50w
  • zk的znode大小不超过1G
  • zk的单节点连接数不超过最大连接数，也不能超过5k

4 其他指标

可以进一步参考 ZK监控方法以及核心指标

李姓门徒
关注
  • 39
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper节点数与watch的性能测试
loop in codes
09-21 2万+
zookeeper中节点数量理论上仅受限于内存，但一个节点下的子节点数量受限于request/response 1M数据 (size of data / number of znodes) zookeeper的watch机制用于数据变更时zookeeper的主动通知。watch可以被附加到每一个节点上，那么如果一个应用有10W个节点，那zookeeper中就可能有10W个watch（甚至更多
Zookeeper
cs1509235061的博客
12-26 163
Zookeeper 1.zookeeper 的使用场景 分布式协调 这个其实是 zookeeper 很经典的一个用法，简单来说，就好比，你 A 系统发送个请求到 mq，然后 B 系统消息消费之后处理了。那 A 系统如何知道 B 系统的处理结果？用 zookeeper 就可以实现分布式系统之间的协调工作。A 系统发送请求之后可以在 zookeeper 上对某个节点的值注册个监听器，一旦 B 系统处理完了就修改 zookeeper 那个节点的值，A 系统立马就可以收到通知，完美解决。 分布式锁 举个栗
Zookeeper监控与性能指标
禅与计算机程序设计艺术
01-21 1160
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一种可靠的、高性能的协调服务，以实现分布式应用程序的一致性和可用性。Zookeeper的核心功能包括： 集群管理：Zookeeper可以管理分布式应用程序的集群，包括节点的添加、删除和故障转移。 数据同步：Zookeeper可以实现分布式应用程序之间的数据同步，确保数据...
zookeeper 性能测试
weixin_30323961的博客
03-30 791
zookeeper压力测试：性能对比（3个节点，5个节点，7个节点 创建节点、删除节点、设置节点数据、读取节点数据性能及并发性能） 测试结果如下： 五次测试三节点结果： 创建100W节点用时：15.0秒。 66'666/s 删除100W节点用时：13.8秒。 72'500/s 设置100W节点用时：90.0秒。 11'111/s 读取100W节点用时：50.5秒。 ...
clickhouse分析：zookeeper减压概述
iceyung的专栏
07-21 4472
前言：编译使用的clickhouse版本为: 19.5.3.1，本次测试比较主要以这个版本为主，鉴于clickhouse更新速度快，新版本的使用还需多查看release的更新日志。 问题描述 使用复制表之后，随着数据量的增加，zookeeper是瓶颈？这个问题估计任何一个对ch关注的人都会看到，当然解决这个问题是需要花费较大精力的。本次我主要想分享ch官方团队提出的减压方案，以及我们能通过什么手段来对zookeeper减压。 针对这个问题，最近接触到了头条关于这部分的优化，头条总结的是ch把zookeepe
SMC ZK2-ZSEA-A设置方法
12-06
SMC ZK2-ZSEA-A设置方法
使用JMeter对ZK性能测试时需要安装的插件
03-19
使用方法： 1.解压后classes\foo\jmtest目录 直接覆盖在 被测的ZK平台对应目录中（WEB-INF下）。 2.修改zk.xml文件,添加下面内容（WEB-INF下） <system-config> <id-generator-class>foo.jmtest....
激光冲击强化ZK60镁合金拉伸和耐磨性能实验研究
02-07
利用Nd:YAG脉冲激光器对ZK60镁合金进行了激光冲击强化处理，分析了激光能量密度、单双面冲击和有无保护层等工艺参数对ZK60镁合金力学性能的影响，测试了ZK60镁合金在激光冲击强化处理前后的耐磨性能。实验结果表明，...
ZK（核心包）
04-18
zookeeper核心包之一 ZK Studio是一个可视化的集成开发环境，提供了跨越整个项目生命周期的直观的工具
zk核心jar最新的zk核心jar用到zk的可以下载
05-11
最新的zk核心jar用到zk的可以下载很实用的东西
个人笔记——Zookeeper性能指标
sserf的专栏
01-20 1231
[ { "fields": [ { "monitor_type": "metric", "type": "double", "name": "org_apache_zkservice_packetsreceived", "unit": "", "description": "接收的数据包...
ZK监控方法以及核心指标_zookeeper-exporter采集哪些指标
最新发布
2401_84170414的博客
04-08 2091
点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
Zookeeper的集群故障排查与诊断
禅与计算机程序设计艺术
01-25 989
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序的基础设施。它提供了一组原子性的基本服务，如集群管理、配置管理、同步、通知和组管理。Zookeeper的高可用性和容错性是其核心特性，使得它在分布式系统中具有广泛的应用。 在实际应用中，Zookeeper集群可能会遇到各种故障和问题，这些问题可能导致整个系统的瘫痪。因此，了解Zoo...
如何排查clickhouse的使用过程中zookeeper出现的问题
普普通通程序猿的博客
07-18 1242
clickhouse中遇到的关于zookeeper的问题
ZooKeeper的一个性能测试
weixin_33713707的博客
07-15 424
3台ZooKeeper服务器。8核64位jdk1.6；log和snapshot放在不同磁盘场景一同一个目录下，先createEPHEMERALnode，再delete；create和delete各计一次更新。没有订阅。一个进程开多个连接，每个连接绑定一个线程，在多个path下做上述操作；不同的连接操作的path不同测试结果数据汇总如下：dataSize(字节)totalReq...
0006-Zookeeper指标分析
Hadoop_SC的博客
11-15 513
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1. 问题描述 通过CDH管理平台，进入Zookeeper管理界面，Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变，指标数据异常。 2.问题复现 登录CDH平台，进入Zookeeper管理页面，查看Zookeeper各服务器状态，页面如下： 查看如下指标 平均请求延迟、最小请求延迟、最大请...
ZooKeeper性能测试
aduocd的博客
08-01 2514
1.背景 2.环境 操作系统：CentOS7.8 Zookeeper：v3.6.3 3.环境搭建 官网的python-dev是Ubuntu中的lib，在CentOS中为python-devel 安装zkpython 4.测试 执行 PYTHONPATH=lib.linux-x86_64-2.6 LD_LIBRARY_PATH=lib.linux-x86_64-2.6 ./zk-latencies.py --servers "host1:port,host2:port,host3:p
ZooKeeper系列之四：ZooKeeper的配置
热门推荐
张林林|深蓝(Linlin Zhang,shenlan211314) 的专栏
02-15 5万+
<br /><br />ZooKeeper的功能特性通过ZooKeeper配置文件来进行控制管理（zoo.cfg配置文件）。ZooKeeper这样的设计其实是有它自身的原因的。通过前面对ZooKeeper的配置可以看出，对ZooKeeper集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模式来说，只有很少的部分是不同的）。这样的配置方使得在部署ZooKeeper服务的时候非常地方便。另外，如果服务器使用不同的配置文件，必须要确保不同配置文件中的服务器列表相匹配。<br /><br /><br /
az31与zk60镁合金盐雾腐蚀行为与性能衰减
08-13
AZ31镁合金和ZK60镁合金是常用的两种镁合金材料。在盐雾腐蚀环境下，这两种镁合金会表现出一定的腐蚀行为和性能衰减。 首先，盐雾腐蚀是一种常见的腐蚀形式，特别是在海洋环境中。镁合金中的镁元素容易与空气中的湿气和盐分相互作用，形成氧化物膜和氯化物沉积物。这些膜和沉积物会阻碍氧气和水分的进一步反应，从而减缓了腐蚀速度。然而，在盐雾腐蚀环境下，膜和沉积物会逐渐破坏，使得镁合金暴露在盐雾中，进一步加速了腐蚀过程。 其次，AZ31和ZK60镁合金的腐蚀行为和性能衰减具有一些差异。AZ31镁合金由镁、铝、锌等元素组成，具有良好的耐腐蚀性能。在盐雾腐蚀环境下，AZ31镁合金会形成致密的氧化物膜，减缓镁的进一步腐蚀。相比之下，ZK60镁合金由镁、锌、锆等元素组成，相对于AZ31镁合金而言，其腐蚀速度较高。在盐雾腐蚀环境下，ZK60镁合金表面会形成不均匀的氧化物膜，容易出现腐蚀点和腐蚀坑。此外，ZK60镁合金还存在着微孔隐裂疲劳的问题，盐雾腐蚀环境会进一步影响其疲劳寿命。 综上所述，AZ31和ZK60镁合金在盐雾腐蚀环境下都会发生腐蚀行为和性能衰减。AZ31镁合金相对较好的抗腐蚀性能使其腐蚀速度较慢，而ZK60镁合金则相对较差，容易出现腐蚀点和腐蚀坑，并可能影响其疲劳寿命。因此，在设计和应用时，需要根据具体环境和要求选择合适的镁合金材料。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值