Grafana+Prometheus监控Flume

已于 2022-11-01 14:22:19 修改
阅读量2.4k 收藏 4
点赞数
分类专栏： Linux运维 文章标签： grafana prometheus flume
于 2022-10-26 16:26:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PengDW12/article/details/127533366
版权

搭建和部署Grafana

Grafana

安装Grafana之前，需要安装Prometheus

安装

下载地址

Download Grafana | Grafana Labs

选择版本

https://dl.grafana.com/enterprise/release/grafana-enterprise-8.3.2-1.x86_64.rpm

上传 /opt/package

安装Grafana

yum install -y /opt/package/grafana-enterprise-8.3.2-1.x86_64.rpm

修改配置

vi /etc/grafana/grafana.ini

修改以下内容

# 页面访问端口
http_port = 23000

启动Grafana

systemctl start grafana-server

配置

登录网页

http://ip:23000（默认账号密码为admin）

设置密码
# 密码
admin
添加数据源

在这里插入图片描述
在这里插入图片描述

URL：http://localhost:9090

在这里插入图片描述

点击左下角的save & Test按钮，如果提示success，就代表配置成功，然后点击Back返回

部署flume_exporter

flume_exporter需要go环境编译

配置go环境

下载链接
在这里插入图片描述
解压、添加环境变量

tar -zxvf go*.tar.gz

vi /etc/profile
#在最后一行添加
export GOROOT=/你解压的路径/go
export PATH=$PATH:$GOROOT/bin
#保存退出后source一下（vim 的使用方法可以自己搜索一下）

source /etc/profile
生效后用go version命令查看一下是否成功

下载Flume_exporter

下载地址

Download

选择版本

在这里插入图片描述

上传 到 /opt/package

解压 flume_exporter-0.0.2.tar.gz

# 解压
tar -zxvf /opt/package/node_exporter-1.3.1.linux-amd64.tar.gz -C /opt/software
# 进入文件目录
cd /opt/software/flume_exporter-0.0.2

执行go install 命令
在这里插入图片描述
把结果中含有go get …的都复制下来，用&&连接多个下载命令

如果下载过程中出现网络错误，go添加国内镜像源

go env -w GO111MODULE=on
go env -w GOPROXY=https://goproxy.cn,direct

下载完成后，再次执行go install，如果没有go get输出，就会开始编译了

[prometheus@host1 flume_exporter-0.0.2]$  export GOPATH=/home/prometheus/exporter/flume_exporter-0.0.2
[prometheus@host1 flume_exporter-0.0.2]$ go install 
go: downloading github.com/Sirupsen/logrus v1.0.6
go: downloading github.com/prometheus/client_golang v1.12.2
go: downloading github.com/prometheus/common v0.34.0
go: downloading github.com/woozhijun/flume_exporter v0.0.2
go: downloading gopkg.in/alecthomas/kingpin.v2 v2.2.6
go: downloading golang.org/x/crypto v0.0.0-20200622213623-75b288015ac9
go: downloading golang.org/x/sys v0.0.0-20220114195835-da31bd327af9
go: downloading github.com/beorn7/perks v1.0.1
go: downloading github.com/cespare/xxhash/v2 v2.1.2
go: downloading github.com/golang/protobuf v1.5.2
go: downloading github.com/prometheus/client_model v0.2.0
go: downloading github.com/prometheus/procfs v0.7.3
go: downloading google.golang.org/protobuf v1.26.0
go: downloading github.com/alecthomas/template v0.0.0-20190718012654-fb15b899a751
go: downloading github.com/alecthomas/units v0.0.0-20190924025748-f65c72e2690d
go: downloading github.com/matttproud/golang_protobuf_extensions v1.0.1
go: downloading github.com/bitly/go-simplejson v0.5.0
go: downloading gopkg.in/yaml.v2 v2.4.0

成功后，将生成的文件复制出来

mkdir ../flume_exporter
cp bin/flume_exporter-0.0.2 ../flume_exporter
cp *.yml ../flume_exporter

在这里插入图片描述

flume启动方式添加JSON Reporting
nohup /opt/software/flume/bin/flume-ng agent --name fence --conf /opt/software/flume/conf/ --conf-file /opt/software/flume/conf/flume-conf-fence.properties -Dflume.monitoring.type=http -Dflume.monitoring.port=36001  >/dev/null 2>&1 &

其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口，给flume_exporter监控

flume_exporter配置

修改flume_exporter下的config.yml文件，端口号改成自己设置的，如上36001，可监控多个flume，但也需在prometheus增加对应的配置参数
在这里插入图片描述

prometheus.yml配置

在scrape_configs: 下面添加flume_exporter的配置

  #添加flume监控
  - job_name: "flume-agents"
    metrics_path: "/metrics"
    static_configs:
      - targets: ["localhost:9360"]

因为flume_exporter的默认端口就是9360，所以prometheus要监控这个端口

配置服务方式启动
vim /etc/systemd/system/flume_exporter.service

[Unit]
Description=flume_exporter service
After=network.target
Wants=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/opt/software/exporter/flume_exporter/flume_exporter-0.0.2 --config-file=/opt/software/exporter/flume_exporter/config.yml --metric-file=/opt/software/exporter/flume_exporter/metrics.yml 
Restart=on-failure

[Install]
WantedBy=multi-user.target
启动flume_exporter
# 重新加载服务的配置文件
systemctl daemon-reload
# 设置开机自启
systemctl enable flume_exporter
# 启动服务
systemctl start flume_exporter
验证flume数据

curl -get http://localhost:9360/metrics
在这里插入图片描述

重启 prometheus

若开启了热更新配置则直接命令更新

热更新参数，在prometheus的启动命令上添加这个
--web.enable-lifecycle

curl -X POST http://localhost:9090/-/reload
添加模板

导入Grafana Dashboard ID为10736的模板

在线模板id：10736

在这里插入图片描述

然后就可以看到监控到画面了

在这里插入图片描述

参数定义：
字段名称含义
SOURCE.OpenConnectionCount打开的连接数
SOURCE.TYPE组件类型
SOURCE.AppendBatchAcceptedCount追加到channel中的批数量
SOURCE.AppendBatchAcceptedCountsource端刚刚追加的批数量
SOURCE.EventAcceptedCount成功放入channel的event数量
SOURCE.AppendReceivedCountsource追加目前收到的数量
SOURCE.StartTime(StopTIme)组件开始时间、结束时间
SOURCE.EventReceivedCountsource端成功收到的event数量
SOURCE.AppendAcceptedCountsource追加目前放入channel的数量
CHANNEL.EventPutSuccessCount成功放入channel的event数量
CHANNEL.ChannelFillPercentage通道使用比例
CHANNEL.EventPutAttemptCount尝试放入将event放入channel的次数
CHANNEL.ChannelSize目前在channel中的event数量
CHANNEL.EventTakeSuccessCount从channel中成功取走的event数量
CHANNEL.ChannelCapacity通道容量
CHANNEL.EventTakeAttemptCount尝试从channel中取走event的次数
SINK.BatchCompleteCount完成的批数量
SINK.ConnectionFailedCount连接失败数
SINK.EventDrainAttemptCount尝试提交的event数量
SINK.ConnectionCreatedCount创建连接数
SINK.Type组件类型
SINK.BatchEmptyCount批量取空的数量
SINK.ConnectionClosedCount关闭连接数量
SINK.EventDrainSuccessCount成功发送event的数量
SINK.BatchUnderflowCount正处于批量处理的batch数

参考文章
https://blog.csdn.net/qq_27710549/article/details/100745914
https://blog.csdn.net/qq_36434219/article/details/124781815
https://blog.csdn.net/qq_41142053/article/details/124862598

随心~稳心
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
flume系列之：flume_exporter导出flume的jmx指标
zhengzaifeidelushang的博客
12-21 883
flume：flume_exporter导出flume的jmx指标一、下载flume_exporter二、安装go环境变量三、编译生成可执行文件flume_exporter四、修改config.yml五、查看监控的指标六、查看flume监控指标 flume_exporter下载地址： https://github.com/woozhijun/flume_exporter 一、下载flume_exporter git clone https://github.com/woozhijun/flume_exp
flume_exporter:普罗米修斯水槽出口商
05-27
flume_exporter 普罗米修斯水槽出口商。 要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: ["http://localhost:36001/metrics"] 使用Docker 默认 docker run -d -p 9360:9360 zhijunwoo/flume_exporter:latest 指定配置 docker run -d \ -p 9360:9360 \ -v `pwd`/config.yml:/etc/flum
kafka batch.size怎么设置_基于flume的高可用kafka数据投递管道架构与实践
weixin_42363854的博客
01-17 1168
业务场景：需要从一个Kafka集群投递消息到多个Kafka 集群，这个过程可能只是对某些topic进行分发；同时topic也能支持分发到不同集群；经过选型后，决定使用flume来实现高可用管道，并使用flume的复制分流拓扑结构来实现源集群的一次消费即可投递到下游的不同目标。整体设计架构图：节点说明：2个agent节点，2个collector节点；2个agent 节点，完全相同的配置起flume ...
prometheus、influxdb2.2安装及flume_export下载编译使用
05-15 1545
prometheus安装 influxdb2.2安装 flume_exporter下载编译安装
flume体系结构
鸭梨的博客
10-27 393
Flume的最小运行单元是Agent，Agent里至少要有三大核心组件Source,channel,Sink. Agent在运行时，就占一个JVM。 Flume的组件有： – source组件:作用是与数据源进行交互，采集数据，封装成event, 将event传输给channel – channel组件：作用是将source传输的event进行缓存，然后再传输给sink。 – sink组件：作用是接收channel传过来的event下沉到存储系统上或者是下一个Agent的source组件中 – event.
Flume 监控部署
qq_41142053的博客
05-19 1508
FLume监控部署— Flume_exporter 文章目录FLume监控部署--- Flume_exporter前言一、JSON Reporting 设置二、flume_exporter 安装1.flume_exporter下载2.编译2.1 安装go 环境2.2、make build3、启动flume_export4、验证三、添加进Prometheus四、Grafana 展示 前言 Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Report
大数据：Flume安装部署和配置
梁辰兴的博客
11-16 4146
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。数据采集我们使用Flume。
Flume监控
qq_27710549的博客
09-11 2855
Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting，选择最简单的JSON Reporting方式，监控方案是 JSON Reporting + flume_exporter + Prometheus + Grafana。 JSON Reporting请参考官方文档 http://flume.a...
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Flume的监控（Monitor)
mnasd的博客
08-22 7017
使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。 Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#m...
基于flink的风电数据实时采集项目总结
10-09
本文档讲述了集群的搭建步骤，flume的安装及配置，kafka集群配置，flink集群配置、hbase的安装、opentsdb数据库的安装以及各个组件的连接运行可视化
grafana+Prometheus 对飞塔防火墙监控模板
07-28
grafana+Prometheus 对飞塔防火墙监控模板。包含： vpn 在线人数，vpn ipsec状态，会话数，新建连接数，带宽出口监控等
linux下服务器的监控(grafana+prometheus)
01-09
3.grafana集成prometheus 三、参考文档  一、使用缘由 目的：通过监控观察压测结果，根据各项数据尝试调整各项参数完成单机调优，主要关注内存、cpu等数据。 目前，自动化构建+压测是这么一个过程： 项目(java案例)...
grafana+influxdb+prometheus+node exporter+jmeter实时监控.docx
04-22
grafana+influxdb+prometheus+node exporter+jmeter实时监控.docx 个人整理，适合新手快速入门，捣鼓几天的结果。。
使用Grafana+Prometheus监控mysql服务性能
09-08
主要介绍了使用Grafana+Prometheus监控mysql服务性能的相关知识，本文给大家介绍的非常详细，对大家的工作或学习具有一定的参考借鉴价值,需要的朋友可以参考下方法
docker安装、部署、汉化监控服务grafana+prometheus.html
10-28
现在网上有很多关于监控平台，不过大部分开源平台不够开放，想要汉化和自定义监控平台随意添加仪表板的话还是首选prometheus+grafana，汉化在本资源主要介绍的前端vue的汉化，prometheus主要用于采集微服务数据或者...
promethes的安装以及搭配supervisor
xiaoxiao______的博客
09-19 306
七、Prometheus的应用 前文已经说过我们整体的监控系统采用 Prometheus + Grafana 的方案。这也是当前企业中普遍采用的监控方案，这里我们以Nginx的请求和Flume Argent实时监控为例，来讲解监控方案的实施。 7.1 prometheus的简介 supervisor是python的一个进程管理工具，可以管理多个进程的状态，断线自动重启，supervisor启动则程序也跟着自动启动等，并有一个简单的可视化web界面，可以对多个进程进行统一管理，本人也是在研究ELK的时候，首次
Grafana介绍
Spread_learning的博客
04-08 1599
Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。 1.1 七大特点 ①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。 ②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。 ③通知：警报更改状态时，它会发...
使用flume将本地文件导入HDFS指定路径
weixin_41048370的博客
09-21 331
flume采集本机文件，添加筛选，上传至HDFS，并监测添加至prometheus生态
grafana+Prometheus监控icmp
最新发布
01-13
可以使用Grafana和Prometheus来监控ICMP（Internet Control Message Protocol）。 首先，确保已经安装和配置了Prometheus和Grafana。然后，按照以下步骤进行操作： 1. 在Prometheus的配置文件（prometheus.yml）中添加以下内容，以启用ICMP监控： ```yaml - job_name: 'icmp' scrape_interval: 5s static_configs: - targets: ['icmp-target'] ``` 这将创建一个名为"icmp"的作业，并将目标设置为"icmp-target"。 2. 在Grafana中创建一个新的数据源，将其配置为连接到Prometheus。 3. 创建一个新的仪表盘，并添加一个新的图表。 4. 在图表的查询编辑器中，使用以下PromQL查询来获取ICMP的响应时间： ``` icmp_response_time ``` 这将显示ICMP的响应时间。 5. 根据需要进行其他配置，例如添加更多的图表、设置警报等。 请注意，上述步骤假设您已经正确安装和配置了Prometheus和Grafana，并且已经有一个可用的ICMP目标。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值