Open-Falcon 之自定义 Flume 监控

最新推荐文章于 2024-04-18 20:39:22 发布

if 0 = -I can

最新推荐文章于 2024-04-18 20:39:22 发布

阅读量357

点赞数 1

分类专栏： Open-Falcon Flume

本文链接：https://blog.csdn.net/weixin_42018518/article/details/106782970

版权

本文档介绍了在Linux环境下，利用Python和Flume的Http接口进行监控的实现方法，包括系统需求、逻辑原理、监控告警设置以及监控指标采集脚本的详细步骤。监控指标主要包括SOURCE、CHANNEL和SINK的各个关键数据，用户需根据实际需求调整监控项的触发条件。

摘要由CSDN通过智能技术生成

一、系统需求

操作系统：Linux
Python ≥ 2.6
python-requests

二、逻辑原理

通过 Flume 进程运行时暴露的 Http 接口获取 Flume 组件信息，通过 Python 解析组件信息，将得到的 json 数据格式的结果输出到标准输出。

启动 flume agent 时添加java环境变量：-Dflume.monitoring.type=http -Dflume.monitoring.port=10520，端口可以自己指定。

举个例子，编辑（Flume NG 之线上实际应用方案） supervise 的 run 文件：

#!/bin/bash
flume-ng agent --conf ${FLUME_HOME}/conf -Dflume.monitoring.type=http -Dflume.monitoring.port=10520 --conf-file /home/flume/flumeng/conf/flume-higo_nginx-hdfs.conf --name higo_nginx

将脚本（60_flume-monitor.py）放置到 falcon-agent 的 plugin/Base_Flume_plugin 目录，在 portal 上将 plugin 目录绑定到相应的 host group，falcon-agent 通过自身的调度器执行该脚本，由 falcon-agent 解析脚本的标准输出，将得到监控项推送到 falcon-judge 进行报警阀值判断判断。