Flume监控

最新推荐文章于 2023-08-16 21:54:36 发布

qq_27710549

最新推荐文章于 2023-08-16 21:54:36 发布

阅读量3k

点赞数 2

本文链接：https://blog.csdn.net/qq_27710549/article/details/100745914

版权

本文介绍了如何使用Flume的JSON Reporting配合flume_exporter、Prometheus和Grafana进行监控。首先，详细讲述了部署flume_exporter的步骤，包括编译、配置和启动。接着，说明了如何将flume_exporter整合到Prometheus中，通过修改配置文件并重新加载实现监控指标的展示。最后，配置了Grafana仪表板和告警规则，确保告警生效并能在Prometheus和alertmanager中查看。

摘要由CSDN通过智能技术生成

Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting，选择最简单的JSON Reporting方式，监控方案是
JSON Reporting + flume_exporter + Prometheus + Grafana。

JSON Reporting请参考官方文档

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#monitoring

flume_exporter github地址

https://github.com/woozhijun/flume_exporter

Prometheus + Grafana的使用可参考

https://www.ibm.com/developerworks/cn/cloud/library/cl-lo-prometheus-getting-started-and-practice/index.html

https://www.jianshu.com/p/e59cfd15612e

1.部署flume_exporter

1.1编译请参考https://github.com/woozhijun/flume_exporter，编译过程遇到的

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_27710549

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
5
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

flume系列之：flume jmx页面导出flume、java进程等全部指标

zhengzaifeidelushang的博客

09-30

371

【代码】flume系列之：flume jmx页面导出flume、java进程等全部指标。

Flume的监控（Monitor）

qq_35342627的博客

08-17

638

在使用Flume实时收集日志的过程中，虽然有事务机制保证数据不丢失，但仍需要时刻关注Source、Channel、Sink之间的消息传输是否正常。比如，Source给Channel传输了多少消息，Sink从Channel中获取多少消息，Source接收与Sink下沉的消息量（即Channel中堆积的消息量）是否偏差过大，等等。 Flume为我们提供了Monitor...

5 条评论您还未登录，请先登录后发表或查看评论

flume监控指标

JackLi31742的博客

09-04

642

source： EventReceivedCount：source端成功收到的event数量 EventAcceptedCount：成功写出到channel的事件总数量 channel： EventPutAttemptCount：Source尝试写入Channe的事件总次数 EventPutSuccessCount：成功写入channel且提交的事件总次数 EventTakeAttemptCoun...

Flume-数据监控

m0_57697768的博客

03-19

1203

flume事务，flume组件结构，flumeSource类型

【Flume总结】Flume 数据流监控

克里斯的博客

01-07

1439

组件：Ganglia Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。 gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。 gweb（Ganglia Web）Gangl

Flume监控及参数调优

ASIN的专栏

06-25

9000

flume监控在flume传输数据的过程中，打开监控，查看CPU、内存等的变化情况也挺有意思的，见JConsole&VisualVM监控总结。另外，当报的错莫名奇妙时，可以尝试调整参数，监控不同效果，往往能快速确定最佳参数，解决问题。flume各部分参数含义 batchData的大小见参数：batchSize PutList和TakeList的大小见参数：transactionCapactiy C

Flume监控之Ganglia

01-07

主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。其详细介绍和工作原理请参考...

大数据采集技术-Flume监控目录.pptx

12-23

《大数据采集技术——Flume监控目录详解》大数据采集技术是大数据处理流程中的重要一环，它负责将分散的数据源汇总到一个集中的位置，以便后续进行存储、处理和分析。其中，Apache Flume作为一款高效、可靠且灵活...

大数据采集技术-Flume监控本地端口.pptx

12-23

首先，Flume监控本地端口的基础是通过配置文件来定义数据流的源（Source）、通道（Channel）和接收器（Sink）。在Flume中，源是数据的产生端，通道负责临时存储数据，而接收器则负责将数据传输到目标位置，如HDFS或...

大数据采集技术-flume监控httpsources.pdf

12-23

总结，Flume监控HTTP源是大数据采集的一个重要应用场景。通过合理的配置和使用，Flume可以帮助我们从各种HTTP服务中高效、稳定地收集数据，为后续的大数据分析提供源源不断的输入。了解并掌握Flume的这一功能，将有...

Flume系列：Flume数据监控Ganglia

wester的博客

05-28

1674

系统环境：centos7Java环境：Java8。

flume_exporter:普罗米修斯水槽出口商

05-27

flume_exporter 普罗米修斯水槽出口商。要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: ["http://localhost:36001/metrics"] 使用Docker 默认 docker run -d -p 9360:9360 zhijunwoo/flume_exporter:latest 指定配置 docker run -d \ -p 9360:9360 \ -v `pwd`/config.yml:/etc/flum

基于flink的风电数据实时采集项目总结

10-09

本文档讲述了集群的搭建步骤，flume的安装及配置，kafka集群配置，flink集群配置、hbase的安装、opentsdb数据库的安装以及各个组件的连接运行可视化

event_exporter：kubernetes事件的导出器

02-03

Kubernetes事件导出器 Kubernetes事件到Prometheus桥。一个收集器可以列出和观看Kubernetes事件，并根据事件的发生情况确定事件持续的时间。然后将信息转换为度量。指标概述 kube_event_count最近一个小时内看到的kubernetes事件的计数。度量标准值与集群中“ Event对象的count属性相同。 kube_event_count{involved_object_kind="Deployment",involved_object_name="event-exporter",involved_object_namespace="default",name="event-exporter.1640452bd04fc7bf",namespace="default",reason="ScalingReplicaSet",source="/deployment-controller",type="Normal"} 1 kube_event_unique_events_total上一小时发生的kubernetes唯一事件总数。 kube_

Flume集群环境搭建，flume监控

01-13

flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接

flume json监控

a3125504x的博客

08-31

386

@[TOC]（flume json监控） flume支持的监控类型 flume支持多种监控 JMX Reporting JSON Reporting Ganglia Custom Reporting 官网地址 flume json监控添加如下两个参数 flume.monitoring.type=http :指定Reporting的方式为http flume.monitoring.port :指定了http服务的端口号。 -Dflume.monitoring.type=http -Dflume.mo

Flume系列：实时监控JMX reporter的大数据应用

2301_79366177的博客

08-16

139

而在 Flume 中，JMX reporter 是一个强大的功能，可以实时监控 Flume agent 的性能指标，并将这些指标暴露给外部系统，以便进行监控和分析。通过 JMX reporter，我们能够轻松地获取 Flume agent 的性能指标，并进行实时监控和分析。本文将介绍如何使用 Flume 的 JMX reporter，实现对 Flume agent 的实时监控，并展示相应的源代码。的类，该类将负责连接到 Flume agent 的 JMX server，获取性能指标，并输出到控制台。

prometheus、influxdb2.2安装及flume_export下载编译使用

05-15

1666

prometheus安装 influxdb2.2安装 flume_exporter下载编译安装

flume监控指标详解

caodaoxi的专栏

05-15

3236

ubuntu使用flume监控文件