Centos6.10下Open-falcon学习记录（三）——log监控插件falcon-log-agent

最新推荐文章于 2024-09-14 09:26:23 发布
最新推荐文章于 2024-09-14 09:26:23 发布
阅读量3.3k 收藏 3
点赞数
分类专栏： Open-falcon学习 文章标签： Open-falcon falcon-log-agent 自动化运维 集群监控 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangxuege/article/details/82996666
版权

这篇主要是记录学习一个滴滴公司开发的日志监控组件用于监控系统的日志采集agent，可无缝对接open-falcon

1 安装

go get安装，肥肠简单

go get github.com/didi/falcon-log-agent
cd $GOPATH/src/github.com/didi/falcon-log-agent
make build

cp cfg/dev.cfg cfg/cfg.json
cp cfg/strategy.dev.json cfg/strategy.json

make pack
mkdir ~/open-falcon/falcon-log-agent
tar -xzvf falcon-log-agent.tar.gz -C ~/open-falcon/falcon-log-agent

2 测试

这个插件一共有两个配置文件，第一个是cfg.json，是插件的自身配置，第二个是strategy.json，配置你要监控的日志信息

cfg.json我基本都默认了，有一个log_level可以改成DEBUG，输出一些DEBUG信息方便调试

strategy.json默认

官方提供了一个api用来检测策略是否可以匹配日志的，命令如下

./control start  #启动
curl -s -XPOST localhost:8003/check -d  'log=01/Jan/2018:12:12:12 service error 500, num=10 province=33' | python -m json.tool  #测试这行日志是否能匹配当前策略

 按照默认策略，这行日志应该是可以匹配到的，然而，我看到了如下的返回

我仔细观察了官方提供的默认策略

 

= =行吧，这里要求匹配的是空白符，给的例子是province=33，修改测试命令

curl -s -XPOST localhost:8003/check -d 'log=01/Jan/2018:12:12:12 service error 500, num=10 province= ' | python -m json.tool

成功了

3 监控

准备用于测试的文件是open-falcon的agent日志文件，如下

就采集那个每一行的Total好了

vim cfg/strategy.json

#创建一个新的日志监控如下
[
    {
        "id":1,
        "name":"agent send num",
        "file_path":"/home/tuan/open-falcon/agent/logs/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"",
        "step":60,
        "tags":{
            "type":"log",
            "file":"/home/tuan/open-falcon/agent/logs/app.log"
        },
        "func":"cnt",
        "degree":6,
        "comment":""
    }
]

这个组件提供了http服务查看自身信息，默认端口是8003，定义在cfg/cfg.json里，可以按照需要修改，需要修改防火墙设置暴露端口

#开启一下防火墙的8003端口
sudo vi /etc/sysconfig/iptables
#在开放22端口的下一行添加如下规则
#-A INPUT -p tcp -m state --state NEW -m tcp --dport 8003 -j ACCEPT
sudo service iptables restart

打开http://IP:8003/health，就可以看见他的运行状态，界面大气简洁

api大概就是下面这几个：

  1. /health ： 自身存活状态
  2. /strategy ：当前生效的策略列表
  3. /cached ： 最近1min内上报的点

运行，发现完蛋，啥都没有

尝试一下命令，返回为空

curl -s -XPOST localhost:8003/check -d 'log=2018/10/11 14:01:11 var.go:109: <= <Total=6, Invalid:0, Latency=0ms, Message:ok>' | python -m json.tool

实在无奈，在源代码里插了几个fmt，调的是http/check.go里的函数matchedStrategy()，代码里的fmt都是我写的

func matchedStrategy(content string, strategy *scheme.Strategy) (bool, map[string]string) {
        fmt.Print("content is ");fmt.Println(content)
        var detail = make(map[string]string, 0)
        valid, patMap := getRegsFromOneStrategy(strategy)
        if !valid {
                return false, map[string]string{}
        }

        for key, pat := range patMap {
                fmt.Print("key is ");fmt.Println(key)
                fmt.Print("pat is ");fmt.Println(pat)
                reg, err := regexp.Compile(pat)
                fmt.Print("reg is ");fmt.Println(reg)
                if err != nil {
                        return false, map[string]string{}
                }
                l := reg.FindStringSubmatch(content)
                fmt.Println(l)
                if len(l) == 0 {
                        if key != "exclude_" {
                                return false, map[string]string{}
                        }
                        detail[key] = ""
                        continue
                }
                detail[key] = l[0]
        }

        return true, detail
}

这个插件把标准输出定向到log/app.log这个文件了，打开一看，发现问题，他居然把我配置的tags里面的东西也当成了pattern，要求匹配

也就是说，strategy.json这个配置里的tags必须也是从日志文件中可以匹配到的一个正则表达式，不是直接配置的

再来看一下官方配置，tags里的provice也是从日志中匹配到的

不能写死

于是我去掉了tag，重新修改一下策略

vim cfg/strategy.json

#创建一个新的日志监控如下
[
    {
        "id":1,
        "name":"agent send num",
        "file_path":"/home/tuan/open-falcon/agent/logs/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"",
        "step":60,
        "tags":{
        },
        "func":"cnt",
        "degree":6,
        "comment":""
    }
]

可以匹配到了

去open-falcon那里看一眼，Counter出来了！！

图像也有了，但是我配置的采集只是单纯计数，即每次有多少行日志符合我设置的pattern

 

做一点进阶的有意义的事情

agent的日志如下，每发送一堆监控数据就会打印两条日志，Total后面的数字是相等的，这个数字我估计就是每次发送的监控数据个数（不是也没有关系，假设他是就可以了）

现在我需要知道每60秒agent发送的监控数据个数，可以用日志监控插件提供的sum这个函数，还需要排除掉重复的一条日志（我打算把Invalid那一行排除掉，只保留Endpoint开头的）

好了，继续修改策略

vim cfg/strategy.json

#创建一个新的日志监控如下
[
    {
        "id":1,
        "name":"agent send num",
        "file_path":"/home/tuan/open-falcon/agent/logs/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"Invalid",
        "step":60,
        "tags":{
        },
        "func":"sum",
        "degree":6,
        "comment":""
    }
]

数据出来了，不过日志滚的太多，不知道采集的数据对不对，为了学术，我进行了更严谨的测试

4 严谨的测试

用一个脚本生成一个模拟的日志，往模拟日志文件里插入给定的信息，看一下监控采集到的数据是否正确

生成模拟日志脚本如下，简单粗暴

#!/bin/bash
echo '2018/10/11 14:03:00 var.go:109: <= <Total=8, Invalid:0, Latency=0ms, Message:ok>'  >> agent.log
echo '2018/10/11 14:03:11 gpu.go:31: Initialize error:  could not load NVML library'  >> agent.log
echo '2018/10/11 14:03:11 var.go:102: => <Total=120> <Endpoint:open-falcon-server, Metric:agent.alive, Type:GAUGE, Tags:, Step:60, Time:1539237791, Value:1>'  >> agent.log
echo '2018/10/11 14:03:11 var.go:102: => <Total=7> <Endpoint:open-falcon-server, Metric:df.bytes.free.percent, Type:GAUGE, Tags:mount=/,fstype=ext4, Step:60, Time:1539237791, Value:32.156528701007986>'  >> agent.log
echo '2018/10/11 14:03:11 var.go:109: <= <Total=120, Invalid:0, Latency=2ms, Message:ok>'  >> agent.log
echo '2018/10/11 14:03:11 var.go:109: <= <Total=7, Invalid:0, Latency=0ms, Message:ok>'  >> agent.log
echo '2018/10/11 14:03:11 var.go:102: => <Total=6> <Endpoint:open-falcon-server, Metric:ss.estab, Type:GAUGE, Tags:, Step:60, Time:1539237791, Value:48>'  >> agent.log
echo '2018/10/11 14:03:11 var.go:109: <= <Total=6, Invalid:0, Latency=0ms, Message:ok>'  >> agent.log
echo '2018/10/11 14:04:00 var.go:102: => <Total=8> <Endpoint:open-falcon-server, Metric:value, Type:GAUGE, Tags:name=pfc.push.size, Step:60, Time:1539237840, Value:8>'  >> agent.log

sleep 70

echo '2018/10/11 14:01:11 var.go:102: => <Total=7> <Endpoint:open-falcon-server, Metric:df.bytes.free.percent, Type:GAUGE, Tags:mount=/,fstype=ext4, Step:60, Time:1539237671, Value:32.15721132115766>'  >> agent.log
echo '2018/10/11 14:01:11 var.go:109: <= <Total=120, Invalid:0, Latency=0ms, Message:ok>'  >> agent.log
echo '2018/10/11 14:01:11 var.go:109: <= <Total=7, Invalid:0, Latency=0ms, Message:ok>'  >> agent.log
echo '2018/10/11 14:01:11 var.go:102: => <Total=6> <Endpoint:open-falcon-server, Metric:ss.estab, Type:GAUGE, Tags:, Step:60, Time:1539237671, Value:48>'  >> agent.log

第一次采集到的数据总和应该是120+7+6+8=141，第二次采集到的数据总和应该是 7+6=13

把strategy.json里的路径改成我们的模拟日志，然后运行脚本生成模拟日志

睿智的人肯定不需要去等待open-falcon的图像，直接看插件的log/INFO日志

cat log/INFO.log | grep endpoint

看到如下的push信息，数值正确

 现在来尝试一下所有的函数，目前log插件一共支持5个函数

  1. cnt：计数，匹配规则的日志条数
  2. avg：平均数，匹配规则的数据平均值
  3. sum：和，匹配规则的数据和
  4. max：最大值，匹配规则的最大数据
  5. min：最小值，匹配规则的最小数据

最终使用的strategy.json文件如下

[
    {
        "id":1,
        "name":"agent total sum",
        "file_path":"/home/tuan/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"Invalid",
        "step":60,
        "tags":{
        },
        "func":"sum",
        "degree":6,
        "comment":""
    },
    {
        "id":2,
        "name":"agent total min",
        "file_path":"/home/tuan/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"Invalid",
        "step":60,
        "tags":{
        },
        "func":"min",
        "degree":6,
        "comment":""
    },
    {
        "id":3,
        "name":"agent total max",
        "file_path":"/home/tuan/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"Invalid",
        "step":60,
        "tags":{
        },
        "func":"max",
        "degree":6,
        "comment":""
    },
    {
        "id":4,
        "name":"agent total cnt",
        "file_path":"/home/tuan/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"Invalid",
        "step":60,
        "tags":{
        },
        "func":"cnt",
        "degree":6,
        "comment":""
    },
    {
        "id":5,
        "name":"agent total avg",
        "file_path":"/home/tuan/agent.log",
        "time_format":"yyyy/mm/dd HH:MM:SS",
        "pattern":"Total=(\\d+)",
        "exclude":"Invalid",
        "step":60,
        "tags":{
        },
        "func":"avg",
        "degree":6,
        "comment":""
    }
]

看一下各项指标，都正确

阿团团
关注
专栏目录
falcon-log-agent-master.zip
01-18
框架
推荐开源项目：DIDI Falcon-Log-Agent - 高效的日志采集利器
gitblog_00044的博客
04-16 345
推荐开源项目：DIDI Falcon-Log-Agent - 高效的日志采集利器 falcon-log-agent用于监控系统的日志采集agent，可无缝对接open-falcon项目地址:https://gitcode.com/gh_mirrors/fa/falcon-log-agent 项目简介 是滴滴出行开发的一个高效、稳定且易于扩展的日志采集工具，它旨在帮助企业实现大规模日志管理和分析。...
Open-Falcon-Agent安装与配置指南
最新发布
gitblog_01190的博客
09-14 458
Open-Falcon-Agent安装与配置指南 Open-Falcon-Agent Open-Falcon-Agent的源码解析 项目地址: https://gitcode.com/gh_mirrors/op/Open-Falc...
falcon-logdog:open-falcon日志关键词监控
05-17
falcon-logdog open-falcon日志关键词监控 下载 可以下载2进制包进行安装，也可以clone本库到机器上安装。clone本库的话，请自行编译。control 脚本默认执行的是 falcon-logdog 文件。 配置 配置文件名字为 cfg.json ，而且必须是这个名字。各个字段说明如下： 名字 默认值 必填 说明 metric 无 是 统计度量，比如叫做 log path 无 是 要监控的日志目录或者文件,如果是目录则会寻找其中一个匹配的日志文件,如果是文件,则会直接监控这个文件,但是不管如何,启动程序时候路径都要存在 timer 无 是 要同步数据间隔时间和上报数据的step值，api接口貌似最小30，保持 60为好 agent 无 是 agent api url，比如 host hostname 命令查看的值 否 主机名字，根据hostname设定，不要使用
Falcon-Log-Agent 使用教程
gitblog_00510的博客
08-07 314
Falcon-Log-Agent 使用教程 falcon-log-agent用于监控系统的日志采集agent，可无缝对接open-falcon项目地址:https://gitcode.com/gh_mirrors/fa/falcon-log-agent 1. 项目的目录结构及介绍 Falcon-Log-Agent 是一个用于监控系统的日志采集代理，可以无缝对接 Open-Falcon 监控系统。...
CentOS7分布式部署open-falcon0.3.0实践.docx
07-31
Open-Falcon是一种开源的、企业级的、高可用、可扩展的监控系统，最早由小米云平台团队发起和开源，在2015年5月开源Beta版并正式命名为“Open-Falcon”，目前已经成为国内互联网公司使用最广泛的监控系统之一。...
CentOS-6.10-x86_64-minimal.iso
03-17
CentOS-6.10-x86_64-minimal.iso
open-falcon安装V1.1.docx
11-11
**Open-Falcon安装详解** Open-Falcon是一款开源的分布式监控系统，专为大规模集群环境设计，...通过以上详细步骤，您可以成功在CentOS 6.4上搭建Open-Falcon V1.1监控平台，并利用其强大的功能监控您的IT基础设施。
CentOS-6.10-x86_64-bin-DVD1to2
03-12
CentOS-6.10-x86_64-bin-DVD1to2 下载 文件 避免 官网更新找不到
openfalcon 组件监控_监控软件之open-falcon
weixin_35182419的博客
12-30 729
一、open-falcon介绍1)中文社区介绍http://book.open-falcon.org/zh_0_2/intro/视频连接：http://www.jikexueyuan.com/course/1651_3.html?ss=12)falcon的优点强大灵活的数据采集：自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data ...
Go-用于监控系统的日志采集agent可无缝对接open-falcon
08-13
用于监控系统的日志采集agent，可无缝对接open-falcon
openfalcon的 日志文件监控 logdog
weixin_34072857的博客
06-01 199
https://github.com/sdvdxl/falcon-logdog下载解压后，需要配置一下文件就好了，我的一个典型配置文件如下：{"logLevel": "WARN","metric": "log","timer": 60,"agent": "http://127.0.0.1:1988/v1/push","host": "10.0.100.85","files": [{"path": ...
探索高效日志采集：falcon-log-agent开源项目介绍
gitblog_00903的博客
08-07 378
探索高效日志采集：falcon-log-agent开源项目介绍 falcon-log-agent用于监控系统的日志采集agent，可无缝对接open-falcon项目地址:https://gitcode.com/gh_mirrors/fa/falcon-log-agent 在数字化时代，日志数据的采集与分析对于业务监控和系统稳定性至关重要。今天，我们将深入探讨一个备受瞩目的开源项目——falco...
记一次Open-Falcon-Graph频繁OOM问题排查
weixin_34114823的博客
05-28 346
本文介绍了Falcon-Graph模块频繁OOM的排查经过及解决办法。上篇文章回顾：浅谈Dcoker的安全性支持（下篇）业务背景Falcon-Graph负责将监控数据持久化，供用户后期查询、汇总等功能。4月初，Open-Falcon业务量逐渐上升，由0.29billion counter增长至现在0.32 billion，由此带来graph集群内存占比平均上升8%(now:73%)，机器负载（lo...
Kubernetes与GPU齐飞
公众号
03-04 1043
<Kubelet从入门到放弃>系列将对Kubelet组件由基础知识到源码进行深入梳理。在这篇文章<Kubernetes与GPU齐飞>中zouyee会先介绍Nvidia系列GPU如何加持Kubernetes，后续介绍Device Plugin的相关概念以及Kubelet组件Device Manager的源码。 一、背景介绍 1.1 需求说明 在Kubernetes 1.8之前，用户使用GPU等设备时，推荐使用Accelerators Feature Gate的内置方式，延续Kubern
打开容器nvidia-container报错或Error response from daemon could not select device driver with capabilities
ghy_111的博客
05-21 4624
docker driver nvidia-container
OpenDaylight：java.lang.UnstatisfiedLinkError:Could not load library
唐僧爱程序
06-09 1747
现象：OpenDaylight编译成功，运行出错 错误：java.lang.UnstatisfiedLinkError:Could not load library 原因：Can't find dependent libraries,no leveldbjni-1.8 in java.library.path.根本原因为重装系统引起的相关系统库缺失。 解决方法：因缺少了相关系统库，所
Open-Falcon安装指南：从环境准备到告警组件配置
本文档详细介绍了如何在64位的CentOS 6.4操作系统上安装Open-falcon监控平台，该平台包括了Redis、MySQL、邮件告警等多个组件。安装过程中，确保机器能够联网，以便于下载必要的依赖和执行后续操作。 1. **说明** ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值