使用Prometheus监控Kafka logsize(kafka-logsize-exporter)

最新推荐文章于 2024-09-03 15:21:43 发布

Ricky_Huo

最新推荐文章于 2024-09-03 15:21:43 发布

阅读量1.6k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/huochen1994/article/details/76193720

版权

Python 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

kafka-logsize-exporter

项目源码github

Installation

下载项目并解压

Getting Started

pip install -r requirements.txt
vim cluster.conf

# 集群别名
[kafka1003]
# zookeeper地址
zk = 127.0.0.1:2128/kafka1003
# kafka集群，多个节点用逗号'，'隔开
brokers = broker1,broker2

python logsize_exporter.py

运行脚本即可通过flask启动一个web服务器

Result

访问hostname:8082即可获取到相关数据

在Prometheus中新建一个任务

scrape_configs:
    - job_name: "Kafka_LogSize"
        static_configs:
          - targets:
            - hostname:8082
        scrape_interval: 20s
        scrape_timeout:  10s

Enhancement

[ ] 端口可配置
[ ] 支持多集群

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ricky_Huo

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

部署docker版Prometheus+grafana+监控kafka和系统状态

Mr.Zheng的博客

01-28

2526

这就是普罗米修斯处于的位置。普罗米修斯具有一个服务端，这个服务端提供两类服务，一个是主动poll数据的服务，一种是等待exporter端push数据。这里有个玩意是exporter，那么什么是Exporter？ Exporter 广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。类比于Zabbix中的agent。 Exporter来源一般社区会提供大部分的exporter，而有些则是一些大牛或者编程爱好者写的，目前Promthues社区官方提供了对以下编程语言

监控数据指标kafka-metrics Prometheus（二）

鱼的博客

09-16

7291

Kafka metrics 所有的 metric 都可以通过 JMX 获取，暴露kafka metrics 支持两种方式 1.在 Kafka Broker 外部, 作为一个独立进程, 通过 JMX 的 RMI 接口读取数据. 这种方式的好处是有任何调整不需要重启 Kafka Broker 进程, 缺点是多维护了一个独立的进程。 2.在 Kafka Broker 进程内部读取 JMX 数据, 这样解析数据的逻辑就在 Kafka Broker 进程内部, 如果有任何调整, 需要重启 Broker。选择暴露 k

参与评论您还未登录，请先登录后发表或查看评论

【30天精通Prometheus：一站式监控实战指南】第5天：kafka_exporter从入门到实战：安装、配置详解与生产环境搭建指南，超详细

大唐有趣的小胡.

05-22

2557

文章首先概述了kafka_exporter的功能，随后详细指导读者如何安装和配置该工具，包括从官方网站下载、解压安装包到运行kafka_exporter的全过程。接下来，文章深入探讨了kafka_exporter的指标和配置，帮助读者更好地理解和使用。最后，通过实战演练部分，指导读者如何在生产环境中搭建和管理kafka_exporter，包括创建管理用户、集成到Prometheus配置、编辑服务文件等关键步骤，确保服务能够正常启动并有效监控Kafka集群状态。

Prometheus_学习笔记

最新发布

AwwzJ_0821的博客

09-03

2022

Prometheus是由golang语言开发的一套开源的监控、报警、时间序列数据库的组合，是一款基于时序数据库的开源监控告警系统。时间序列数据库：时间序列数据库（Time Serires Database , TSDB）不同于传统的关系型数据库。传统数据库更侧重于事务处理和关系型数据的存储，时间序列数据库更关注时间序列数据的处理，这类数据通常具有时间戳，如设备检测数据、传感器读数或系统日志等。

Prometheus监控Kafka（三种方法JMX Kafka_exporter KMINION监控Kafka）_kafka exporter

2401_84183492的博客

04-17

2362

目的是下次启动kafka进程的同时，运行一个jmx-agent并指定agent的端口。使用curl命令重启prometheus的前提是：首次启动Prometheus时，就启用。下载dashboard模板，配合jmx-agent使用时，建议使用11962号模板。使用阿里云提供的jmx-agent包，比较稳定靠谱，就不故意选择最新版本了。份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**修改kafka启动脚本的配置参数，可参考阿里云。这一行之后，新增JMX-agent内容。

Prometheus监控Kafka（三种方法JMX Kafka_exporter KMINION监控Kafka）_kafka exporter(1)

2401_84182507的博客

04-12

1580

学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

prometheus监控Kafka (kafka_exporter和 jmx_exporter)

u010533742的博客

08-30

4393

一、kafka的安装方法参考:https://blog.csdn.net/u010533742/article/details/117260505 二、kafka_exporter部暑 mkdir /data/kafka_exporter -p cat > /data/kafka_exporter/start.sh << 'EOF' docker rm -f kafka_exporter docker run -d \ --restart=always \ --name kafka_exp

kafka-logsize-exporter:Python prometheus client for kafka logsize(Prometheus基于kafka logsize监控)

04-27

kafka-logsize-exporter 安装下载，解压缩入门 pip install -r requirement.txt vim cluster.conf # cluster name alias [kafka1003] # zookeeper zk = 127.0.0.1:2128/kafka1003 # kafka broker list brokers = ...

(Prometheus基于kafka logsize监控)+源代码+文档说明

12-01

# kafka-logsize-exporter ## Installation download, uncompress ## Getting Started ```bash pip install -r requirement.txt vim cluster.conf ``` ``` # cluster name alias [kafka1003] # zookeeper zk =...

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

阿里云技术

02-28

292

E-MapReduce指标观测主要包括HOST监控、HDFS 、YARN、Hive、Kafka、Zookeeper、ClickHouse和Flink等，那么接下来我们将进行逐一解读。

开源运维监控系统-Nightingale（夜莺）应用实践

企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net

11-27

2837

某业务系统因OS改造，原先的Zabbix监控系统推倒后未重建，本来计划用外部企业内其他监控系统接入，后又通知需要自建才能对接，考虑之前zabbix的一些不便，本次计划采用一个类Prometheus的监控系统，镜调研后发现Nightingale兼容Prometheus，又有一些其他功能增强，又在一些大的企业经过较大规模部署实践，故本次采用Nightingale作为监控系统来进行重建。

kafka_exporter-1.2.0.linux-amd64.tar.gz

07-17

Prometheus监控kafka的组件,kafka_exporter,适用于linux系统，用于个人学习

kafka_exporter:卡夫卡普罗米修斯出口商

04-28

kafka_exporter Kafka普罗米修斯出口商。有关Kafka的其他指标，请查看。目录运行二进制运行Docker映像标志笔记指标经纪人话题消费群体格拉法纳仪表板贡献捐款执照兼容性支持Apache Kafka版本0.10.1.0（及更高版本）。相依性普罗米修斯萨拉玛高朗深度下载二进制文件可以从“发行”页面下载。编译生成二进制 make 构建Docker映像 make docker Docker Hub映像 docker pull danielqsj/kafka-exporter:latest 它可以直接使用，而不必自己构建映像。（ Docker Hub danielqsj / kafka-exporter ）跑步运行二进制 kafka_exporter --kafka.server=kafka:9092 [

kafka-topic-exporter:消费Kafka主题并导出到Prometheus

05-26

卡夫卡主题导出器消费Kafka主题并导出到Prometheus 开始程序 java -jar kafka-topic-exporter-0.0.6-jar-with-dependencies.jar config/kafka-topic-exporter.properties 配置启动过程时，必须将配置文件作为参数传递。 ## Kafka Exporter Properties # HTTP port used for the exporter exporter.port=12340 # Time in seconds that the metrics, once retrieved, will consider as valid exporter.metric.expire.seconds=60 # RegEx for filtering topics to retrieve

kafka集群部署、监控

08-13

zookeeper集群部署，kafka集群部署，kafka介绍，topic创建、删除、kafka监控

prometheus整合kafka_exporter

u013218342的博客

08-16

1476

整合kafka

Prometheus监控平台配置kafka_exporter

Map的博客

08-11

8211

目录 1. 前言 2.安装配置kafka_exporter 3.Prometheus配置 4.Grafana配置 1. 前言接上一篇Prometheus+Grafana监控部署，环境已经安装完成，本篇进行Prometheus的一些常用监控。 Dashboard模板下载(.json文件) Kafka现有开源的集群监控方案：kafka-manager、kafka-monitor、kafka-eagle、KafkaOffsetMonitor，但有所限制监控指标被固化，不易扩展、预警功能弱。...

普罗米修斯监控

Tu_maimes

11-12

914

普罗米修斯 1、安装安装 2、配置监控 [Prometheus + Grafana（八）系统监控之Kafka] Prometheus 监控之 kafka 3、指令 nohup /data/prometheus-2.21.0.linux-amd64/prometheus --config.file=/data/prometheus-2.21.0.linux-amd64/prometheus.yml & kakfa监控配置demo lowercaseOutputName: tru

使用Grafana + Prometheus监控Kafka集群：Kafka_exporter详解

"该资源是关于Kafka集群监控的一个配置文件，主要涉及使用Kafka_exporter与Grafana + Prometheus的组合来实现更灵活、强大的监控解决方案。在现有的开源监控方案如kafka-manager、kafka-monitor、kafka-eagle和...