K8S的Kafka监控(Prometheus+Grafana)

最新推荐文章于 2024-08-21 10:48:36 发布
最新推荐文章于 2024-08-21 10:48:36 发布
阅读量398 收藏 7
点赞数 4
分类专栏： 程序员 文章标签： kubernetes kafka prometheus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83817392/article/details/137269269
版权
本文介绍了如何在Kubernetes(K8S)集群中使用Prometheus和Grafana监控Kafka。首先，确认kafka-exporter的参数，确保能从Kafka获取数据。然后，通过Helm部署kafka-exporter，修改values.yaml文件配置kafka地址。接着，配置Prometheus的configmap以采集kafka-exporter的数据。最后，通过删除并重新创建Prometheus pod来应用新配置，完成监控设置。
摘要由CSDN通过智能技术生成

  1. NFS服务：IP地址192.168.50.135，文件夹/volume1/nfs-storageclass-test

  2. Helm：2.16.1

  3. Kafka：2.0.1

  4. Zookeeper：3.5.5

  5. Prometheus：2.0.0

  6. Grafana：5.0.0

准备完毕就可以开始实战了；

确认kafka-exporter参数

即将部署的kafka-exporter要从kafka取得数据，因此要准备kafka-exporter参数；

  1. 查看kafka的服务中TYPE是ClusterIP的那个，如下图红框所示：

在这里插入图片描述

  1. 上述红框中的服务名字是kafka、端口是9092，因此稍后在kafka-exporter中配置的kafka信息就是kafka:9092

实际操作

  1. 添加Helm仓库(该仓库中有我们需要的kafka-exporter)：helm repo add gkarthiks https://gkarthiks.github.io/helm-charts

  2. 下载kafka-exporter：helm fetch gkarthiks/prometheus-kafka-exporter

  3. 解压下载的chart文件：tar -zxvf prometheus-kafka-exporter-0.1.0.tgz

  4. 进入解压后的目录：cd prometheus-kafka-exporter

  5. 修改values.yaml文件，如下图红框，kafka:9092就是同一namespace下访问kafka的地址：

最低0.47元/天 解锁文章
2401_83817392
关注
专栏目录
使用prometheus+grafana+cadvisor架构监控docker容器实战
低调，谦虚，自律，反思，成长，保持热爱，奔赴梦想
04-06 1628
prometheus监控docker实战
【分布式】在树莓派集群中部署k3s+node_exporter+Prometheus+Grafana进行集群的监测和感知
点赞的都能无bug通过！
07-13 1968
本项目中使用Prometheus监控各项系统或业务的运行状态和健康情况。其中主要用到exporter插件，Exporter的作用就是将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，然后Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据，也可以理解exporter就是部署在客户端的一个Agent。 exporter官方插件有很多个，如node_exporte,、mysql_exporter以及我们之前所介绍过
Prometheus监控平台配置kafka_exporter
Map的博客
08-11 8165
目录 1. 前言 2.安装配置kafka_exporter 3.Prometheus配置 4.Grafana配置 1. 前言 接上一篇Prometheus+Grafana监控部署，环境已经安装完成，本篇进行Prometheus的一些常用监控。 Dashboard模板下载(.json文件) Kafka现有开源的集群监控方案：kafka-manager、kafka-monitor、kafka-eagle、KafkaOffsetMonitor，但有所限制监控指标被固化，不易扩展、预警功能弱。...
Prometheus监控Kafka集群
lixinkuan的博客
02-06 3261
prometheus监控kafka常见的有两种开源方案，一种是传统的部署exporter的方式，一种是通过jmx配置监控，本文将采用第二种方式进行配置。 项目地址： kafka_exporter：https://github.com/danielqsj/kafka_exporter jmx_exporter：https://github.com/prometheus/jmx_exporter 1、安装部署 现有kafka三节点的集群，环境大概如下： 主机 组件 10.3.0.41–
使用kafka_exporter、prometheus、grafana监控kafka（最简版）
最新发布
青松逸暇
08-21 353
使用kafka_exporter、prometheus、grafana监控kafka
Grafana+Prometheus监控Kafka集群
Michael的博客
02-22 2526
通过Prometheus+Kafka监控Kafka集群情况
grafana实现kafka监控可视化
inteligent7的博客
08-27 6658
先附上部分百度神搜结果： 展示topic列表 ./kafka-topics.sh --list --zookeeper 172.18.153.12:2188 查看消费情况： ./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group groupname 对于新手来说，无疑是成吨的学习成本带来的压力，而且每次排查问题都要输入这么一大串指令，脑子有点不太够的样子。此时本次重点华丽丽地登场了。 接下来详细分析
Prometheus实战教程：监控Kafka消息
guting18893110463的博客
04-01 4695
使用prometheus+Grafana+kafka_exporter+kafka实现监控Kafka运行状态
云原生Spring Boot应用配置Prometheus+Grafana监控（保姆级
03-18 626
一次偶然，从朋友那里得到一份“java高分面试指南”，里面涵盖了25个分类的面试题以及详细的解析：JavaOOP、Java集合/泛型、Java中的IO与NIO、Java反射、Java序列化、Java注解、多线程&并发、JVM、Mysql、Redis、Memcached、MongoDB、Spring、Spring Boot、Spring Cloud、RabbitMQ、Dubbo 、MyBatis 、ZooKeeper 、数据结构、算法、Elasticsearch 、Kafka 、微服务、Linux。
prometheus监控kafka
ApexPredator的博客
10-26 1542
prometheus监控kafka
kafka集群部署、监控
08-13
zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控
（四） prometheus + grafana + alertmanager 配置Kafka监控-附件资源
03-02
（四） prometheus + grafana + alertmanager 配置Kafka监控-附件资源
Prometheus+Grafana监控部署以kafka监控为例
qq_39334151的博客
12-20 2692
Prometheus是由SoundCloud开发的开源监控系统，由GO语言编写而成，采用Pull的方式来获取监控信息，并且提供了多维度的数据模型和灵活的查询接口。Prometheus既支持通过静态文件配置监控对象，还支持自动发现机制，能通过Kubernetes、Consl、DNS等多种方式动态获取监控对象。在数据采集方面，借助GO语言高并发的特性，一个Prometheus设备可以采集数百个节点的监控数据；在数据存储方面，单机Prometheus支持每秒10^6个指标采集，并且还支持大量存储场景下的远程存储。
Kubernetes Prometheus 系例 | kubernetes 部署 Kafka exporter监控Kafka集群
weixin_48711696的博客
06-25 623
Kafka exporter 是一个用于导出 Apache Kafka 集群监控指标的工具。它通常与 Prometheus 和 Grafana 等监控工具结合使用，以提供对 Kafka 集群运行状态的实时监控和可视化。Kafka exporter 的主要功能是通过 JMX（Java Management Extensions）或其他接口从 Kafka 集群中收集各种运行时指标，如生产者吞吐量、消费者延迟、分区状态等。
查看grafana版本_使用 Prometheus 与 Grafana 为 Kubernetes 集群建立监控与警报机制
weixin_39547596的博客
12-11 570
作者 | Gregoire DAYET 策划 | 田晓旭 IT 团队已经明确意识到对基础设施进行监控的必要性。目前市面上存在着大量适用于传统基础设施且历史悠久的解决方案：Nagios、Zabbix 等工具都是其中的代表。但这些工具并不足以解决 Kubernetes 生态系统在多层级抽象与故障排查方面的实际需求。不少 DevOps 工程师一次又一次被以下问题所困扰：调...
Prometheus监控Kafka（三种方法JMX/Kafka_exporter/KMINION监控Kafka）
czm的博客
10-24 5117
Prometheus监控kafka的三种方式：JMX监控kafka、kafka_exporter监控kafka、Kminion监控kafka。
prometheus监控Kafka (kafka_exporter和 jmx_exporter)
u010533742的博客
08-30 4261
一、kafka的安装方法参考:https://blog.csdn.net/u010533742/article/details/117260505 二、kafka_exporter部暑 mkdir /data/kafka_exporter -p cat > /data/kafka_exporter/start.sh << 'EOF' docker rm -f kafka_exporter docker run -d \ --restart=always \ --name kafka_exp
prometheus-kafka-exporter部署
weixin_30254435的博客
08-07 1017
chart地址：https://gkarthiks.github.io/helm-charts/charts/prometheus-kafka-exporter/ 1、下载chart $ helm repo add gkarthiks https://gkarthiks.github.io/helm-charts $ helm fetch gkarthiks/prometheu...
使用Grafana + Prometheus监控Kafka集群：Kafka_exporter详解
"该资源是关于Kafka集群监控的一个...这个配置文件提供了Kafka监控的高级定制化解决方案，利用Kafka Exporter的灵活性和Prometheus+Grafana的强大组合，实现了全面、可扩展的监控体验，克服了传统监控工具的局限性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值