kafka topic监控采集

最新推荐文章于 2024-10-14 10:40:31 发布

Bcc的笔记

最新推荐文章于 2024-10-14 10:40:31 发布

阅读量557

点赞数

文章标签： java linux consul mysql zookeeper

本文链接：https://blog.csdn.net/weixin_41431016/article/details/109666463

版权

本文介绍了如何使用kafka_exporter进行Kafka Topic监控，并结合Prometheus和Consul实现服务动态注册。在部署过程中，详细步骤包括启动kafka_exporter，配置并启动Prometheus以通过Consul动态发现服务，接着部署Grafana用于数据可视化。在实践中，遇到了由于topic数量过多导致的请求URI过长问题，通过调整查询语句解决了该问题。

摘要由CSDN通过智能技术生成

使用开源的项目

直接通过编译好的二进制文件部署

kafka_exporter二进制文件下载地址下载 kafka_exporter-1.2.0.linux-amd64.tar.gz

1、启动kafka_exporter

brokers=$1
export_port=$2 #从8308开始
for broker in `echo "${brokers}"|sed 's/,/\n/g'`;do
  opt="${opt} --kafka.server=${broker}"
done
nohup ./kafka_exporter ${opt} --sasl.username=1111 --sasl.password=1111 --sasl.enabled --web.listen-address=":${export_port}" &>>kafka_exporter.log&

2、部署prometheus，结合consul动态注册服务

配置consul

1. 官网下载consul二进制文件
2. 启动consul
nohup ./bin/consul agent -server -bootstrap-expect 1 -data-dir=./data -node=server1 -log-file=./logs/consul.log -bind=localhost -client=localhost -ui >c