文章目录
探讨zk的监控数据采集方式以及需要关注的核心指标,便于日常生产进行监控和巡检。
1. 监控指标采集
- 3.6.0 版本后,原生支持开放指标接口供Prometheus采集。
- 如果低于3.6.0 版本,只能使用zookeeper-exporter进行采集
1.1 zk版本高于3.6.0监控指标采集
详细的可以参考 ZooKeeper Monitor Guide
具体操作如下
1, 调整zoo.cfg配置,增加配置
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
指标的暴露接口是7000,完成配置并重启zk后可以获取对应的指标。
curl localhost:7000/metrics
1.2 zk版本低于3.6.0监控指标采集
可以通过 zookeeper-exporter 下载zookeeper-exporter的安装包,并进行配置。
进程启动配置
./zookeeper-exporter -listen 0.0.0.0:7000 -zk-hosts Master:2181,Slave1:2181,Slave2:2181
更多使用方法可以参考 文档
指标的暴露接口是7000,完成配置并重启zk后可以获取对应的指标。
curl localhost:7000/metrics
1.3 配置promethues采集和大盘
完成指标采集后,可以通过prometheus配置监控、告警和大盘。
配置prometheus的指标采集任务
- job_name: zk
static_configs:
- targets: ['172.19.0.2:7000','172.19.0.3:7000','172.19.0.4:7000']
完成prometheus监控指标后,就可以配置grafana大盘,grafana的dashboard官网可以下载很多优秀的大盘进行借鉴,本文不再追溯。
2. 核心告警指标
在 ZooKeeper Monitor Guide中记录了zk的关键指标进行配置告警,可以参考。
groups:
- name: zk-alert-example
rules:
- alert: ZooKeeper server is down
expr: up == 0
for: 1m
labels:
severity: critical
annotations:
summary: "Instance {{ $labels.instance }} ZooKeeper server is down"
description: "{{ $labels.instance }} of job {{$labels.job}} ZooKeeper server is down: [{{ $value }}]."
- alert: create too many znodes
expr: znode_count > 1000000
for: 1m
labels:
severity: warning
annotations:
summary: "Instance {{ $labels.instance }} create too many znodes"
description: "{{ $labels.instance }} of job {{$labels.job}} create too many znodes: [{{ $value }}]."
- alert: create too many connections
expr: num_alive_connections > 1000 # suppose we use the default maxClientCnxns: 60
for: 1m
**自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。**
**深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
**因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/01031028f306c3d5f61f6b7ec4ca1d08.png)
![img](https://img-blog.csdnimg.cn/img_convert/a7b2cb2f84afc062ff17d7f76845573d.png)
![img](https://img-blog.csdnimg.cn/img_convert/8ecbfcbfb10812759af41f9238edec7c.png)
![img](https://img-blog.csdnimg.cn/img_convert/e07c6d4e3752ab471a464080bc322de8.png)
![img](https://img-blog.csdnimg.cn/img_convert/94054490320dd71a8b03ae1ad564c8a4.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
![img](https://img-blog.csdnimg.cn/img_convert/82a3fac28041f35890b1b4b358887b32.png)
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
注大数据获取)**
[外链图片转存中...(img-CwYE80mV-1712993937993)]
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**