Flume监控

最新推荐文章于 2024-11-29 09:53:41 发布

qq_27710549

最新推荐文章于 2024-11-29 09:53:41 发布

阅读量3k

点赞数 2

本文链接：https://blog.csdn.net/qq_27710549/article/details/100745914

版权

本文介绍了如何使用Flume的JSON Reporting配合flume_exporter、Prometheus和Grafana进行监控。首先，详细讲述了部署flume_exporter的步骤，包括编译、配置和启动。接着，说明了如何将flume_exporter整合到Prometheus中，通过修改配置文件并重新加载实现监控指标的展示。最后，配置了Grafana仪表板和告警规则，确保告警生效并能在Prometheus和alertmanager中查看。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting，选择最简单的JSON Reporting方式，监控方案是
JSON Reporting + flume_exporter + Prometheus + Grafana。

JSON Reporting请参考官方文档

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#monitoring

flume_exporter github地址

https://github.com/woozhijun/flume_exporter

Prometheus + Grafana的使用可参考

https://www.ibm.com/developerworks/cn/cloud/library/cl-lo-prometheus-getting-started-and-practice/index.html

https://www.jianshu.com/p/e59cfd15612e

1.部署flume_exporter

1.1编译请参考https://github.com/woozhijun/flume_exporter，编译过程遇到的

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_27710549

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Flume系列：实时监控JMX reporter的大数据应用

2301_79366177的博客

08-16

168

而在 Flume 中，JMX reporter 是一个强大的功能，可以实时监控 Flume agent 的性能指标，并将这些指标暴露给外部系统，以便进行监控和分析。通过 JMX reporter，我们能够轻松地获取 Flume agent 的性能指标，并进行实时监控和分析。本文将介绍如何使用 Flume 的 JMX reporter，实现对 Flume agent 的实时监控，并展示相应的源代码。的类，该类将负责连接到 Flume agent 的 JMX server，获取性能指标，并输出到控制台。

【Flume总结】Flume 数据流监控

克里斯的博客

01-07

1464

组件：Ganglia Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。 gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。 gweb（Ganglia Web）Gangl

5 条评论您还未登录，请先登录后发表或查看评论

flume监控指标

JackLi31742的博客

09-04

665

source： EventReceivedCount：source端成功收到的event数量 EventAcceptedCount：成功写出到channel的事件总数量 channel： EventPutAttemptCount：Source尝试写入Channe的事件总次数 EventPutSuccessCount：成功写入channel且提交的事件总次数 EventTakeAttemptCoun...

Flume-数据监控

m0_57697768的博客

03-19

1289

flume事务，flume组件结构，flumeSource类型

Flume的监控（Monitor）

qq_35342627的博客

08-17

659

在使用Flume实时收集日志的过程中，虽然有事务机制保证数据不丢失，但仍需要时刻关注Source、Channel、Sink之间的消息传输是否正常。比如，Source给Channel传输了多少消息，Sink从Channel中获取多少消息，Source接收与Sink下沉的消息量（即Channel中堆积的消息量）是否偏差过大，等等。 Flume为我们提供了Monitor...

Flume监控及参数调优

ASIN的专栏

06-25

9050

flume监控在flume传输数据的过程中，打开监控，查看CPU、内存等的变化情况也挺有意思的，见JConsole&VisualVM监控总结。另外，当报的错莫名奇妙时，可以尝试调整参数，监控不同效果，往往能快速确定最佳参数，解决问题。flume各部分参数含义 batchData的大小见参数：batchSize PutList和TakeList的大小见参数：transactionCapactiy C

Flume监控之Ganglia

01-07

主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。其详细介绍和工作原理请参考...

大数据采集技术-Flume监控目录.pptx

12-23

《大数据采集技术——Flume监控目录详解》大数据采集技术是大数据处理流程中的重要一环，它负责将分散的数据源汇总到一个集中的位置，以便后续进行存储、处理和分析。其中，Apache Flume作为一款高效、可靠且灵活...

大数据采集技术-Flume监控本地端口.pptx

12-23

首先，Flume监控本地端口的基础是通过配置文件来定义数据流的源（Source）、通道（Channel）和接收器（Sink）。在Flume中，源是数据的产生端，通道负责临时存储数据，而接收器则负责将数据传输到目标位置，如HDFS或...

大数据采集技术-flume监控httpsources.pdf

12-23

总结，Flume监控HTTP源是大数据采集的一个重要应用场景。通过合理的配置和使用，Flume可以帮助我们从各种HTTP服务中高效、稳定地收集数据，为后续的大数据分析提供源源不断的输入。了解并掌握Flume的这一功能，将有...

Flume 监控配置和实践

最新发布

goTsHgo的博客

11-29

1135

Flume 支持自定义监控指标，开发者可以基于 Flume 的。

flume_exporter:普罗米修斯水槽出口商

05-27

flume_exporter 普罗米修斯水槽出口商。要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: ["http://localhost:36001/metrics"] 使用Docker 默认 docker run -d -p 9360:9360 zhijunwoo/flume_exporter:latest 指定配置 docker run -d \ -p 9360:9360 \ -v `pwd`/config.yml:/etc/flum

Flume系列：Flume数据监控Ganglia

wester的博客

05-28

1708

系统环境：centos7Java环境：Java8。

flume json监控

a3125504x的博客

08-31

409

@[TOC]（flume json监控） flume支持的监控类型 flume支持多种监控 JMX Reporting JSON Reporting Ganglia Custom Reporting 官网地址 flume json监控添加如下两个参数 flume.monitoring.type=http :指定Reporting的方式为http flume.monitoring.port :指定了http服务的端口号。 -Dflume.monitoring.type=http -Dflume.mo

prometheus、influxdb2.2安装及flume_export下载编译使用

05-15

1757

prometheus安装 influxdb2.2安装 flume_exporter下载编译安装

Grafana+Prometheus监控Flume

PengDQ12的博客

10-26

2959

其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口，给flume_exporter监控。修改flume_exporter下的config.yml文件，端口号改成自己设置的，如上36001，可监控多个flume，但也需在prometheus增加对应的配置参数。下载完成后，再次执行go install，如果没有go get输出，就会开始编译了。把结果中含有go get …如果下载过程中出现网络错误，go添加国内镜像源。

flume监控指标详解

caodaoxi的专栏

05-15

3255

11自定义MySQLSource

hao难懂的博客

08-29

300

1.导入Pom依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </d...

grafana

xiaoxiao______的博客

09-19

1639

八、grafana的应用 Grafana 是一个开源的可视化平台，支持多种数据源，方便易用。更多的不再赘述，用起来就明白了。以下是官网对Grafana的定义。官网地址：https://grafana.com/ Grafana is the open source analytics and monitoring solution for every database 8.1 grafana的安装 --1. 下载 wget http://doc.yihongyeyan.com/qf/project/sof