openfalcon - agent - fastdfs

最新推荐文章于 2024-04-21 10:03:48 发布
最新推荐文章于 2024-04-21 10:03:48 发布
阅读量982 收藏 1
点赞数
分类专栏： openfalcon fastdfs 文章标签： fastdfs openfalcon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vbaspdelphi/article/details/52923942
版权

过去我们监控fastdfs是使用的sh脚本，报警策略是看uptime是不是一直在直线上升，否则就会报警。

随着openfalcon被大家越来越喜欢，所以各种插件应运而生，但是fastdfs的监控目前市面上没有找到。所以就撸了一个。

#!/usr/bin/python
#--encoding:utf8

import os
import sys
import re
import pprint
import time
import json
import requests
import time
import ast
import yaml

# 定义falcon上报数据的时候用到的变量
falconTs = int(time.time())
falconEndpoint = "cluster-fastdfs"
falconTimeStamp = 60
falconPayload=[]
falconAgentUrl="http://127.0.0.1:1988/v1/push"

# 对于monitor监控到的数据，用以下的变量去存放采集到的数据
serverinfo={}
currentGroupNumber=""
currentStorageNumber=""

# 执行命令
cmdLine = "/home/machtalk/opt/fastdfs/usr/bin/fdfs_monitor /home/machtalk/opt/fastdfs/etc/fdfs/client.conf"
cmdResult = os.popen(cmdLine).readlines()

# 定义函数，由于采集到的数据有好几种格式
# 100， 数值
# 5.05， 版本号
# 2016-10-10 10:10:10， 时间格式
# 10.10.10.10， ip地址格式
# ACTIVE， 存货代表1，其他使用0
# 该函数会把这些转换为float类型或者整形。
def falconValue(value):
    result = re.findall("(\d+\-\d+\-\d+ \d+\:\d+\:\d+)",value)
    if len(result) != 0:
        timeString = result[0]
        timeTP = time.strptime(timeString,"%Y-%m-%d %H:%M:%S")
        timeStamp = time.mktime(timeTP)
        return int(timeStamp)
    result = re.findall("(\d+\.\d+\.\d+\.\d+$)",value)
    if len(result) == 1:
        result=result[0].split(".")
        #print result
        #print int(float(result[0])) * (2**24) + int(float(result[1])) * (2**16) + int(float(result[2])) * (2**8) + int(float(result[3]))
        return int(float(result[0])) * (2**24) + int(float(result[1])) * (2**16) + int(float(result[2])) * (2**8) + int(float(result[3]))
    result = re.findall("(\d+) MB$",value)
    if len(result) == 1:    
        return float(result[0]) * 1024 * 1024
    result = re.findall("(ACTIVE)",value)
    if len(result) == 1:
        return 1
    result = re.findall("(IP_CHANGED)",value)
    if len(result) == 1:
        return -1
    result = re.findall("(\d+\.\d+$)",value)
    if len(result) == 1:
        return value
    result = re.findall("(\d+$)",value)
    if len(result) == 1:
        return value
    else:
        print "异常"
        return -1

# 默认采用GAUGE的形式，如果有COUNTER类型，尤其是时间类型，那么就加入下面的列表
def falconType(value):
    counterTypeList = []
    counterTypeList.append("up time")
    counterTypeList.append("join time")
    counterTypeList.append("last_heart_beat_time")
    counterTypeList.extend(["success_append_count","success_create_link_count","success_delete_count","success_delete_link_count","success_download_count","success_file_open_count","success_file_read_count","success_file_write_count","success_get_meta_count","success_modify_count","success_set_meta_count","success_truncate_count","success_upload_count"])
    if value in counterTypeList:
        return "COUNTER"
    return "GAUGE"

# 根据之前的cmdline执行结果，进行处理
for line in cmdResult:
    # check server_count 和 server_index
    result1=re.findall("server_count=(\d+), server_index=(\w+)",line)
    if len(result1)==1:
        serverinfo['server_count'] = result1[0][0]
        serverinfo['server_index'] = result1[0][1]
        payloadString="""{ "endpoint": "%s", "metric": "%s", "timestamp": %s, "step": %s, "value": %s, "counterType": "%s", "tags": "%s"} """%(falconEndpoint, "server_count", falconTs, falconTimeStamp, falconValue(serverinfo['server_count']),"GAUGE","")
        falconPayload.append(yaml.load(payloadString))
        payloadString="""{ "endpoint": "%s", "metric": "%s", "timestamp": %s, "step": %s, "value": %s, "counterType": "%s", "tags": "%s"} """%(falconEndpoint, "server_index", falconTs, falconTimeStamp, falconValue(serverinfo['server_index']),"GAUGE","")
        falconPayload.append(yaml.load(payloadString))
        continue
    # check group count
    result2=re.findall("group count: (\d+)",line) 
    if len(result2) == 1:
    serverinfo['group_count'] = result2[0]
        payloadString="""{ "endpoint": "%s", "metric": "%s", "timestamp": %s, "step": %s, "value": %s, "counterType": "%s", "tags": "%s"} """%(falconEndpoint, "group_count", falconTs, falconTimeStamp, falconValue(serverinfo['group_count']),"GAUGE","")
        falconPayload.append(yaml.load(payloadString))
        #print serverinfo
        continue
    # 如果遇到Group 1
    result3=re.findall("Group (\d+)",line)
    if len(result3) == 1:
        currentGroupNumber="%s"%result3[0]
        serverinfo[currentGroupNumber] = {}
        #print "找到currentGroupNumber%s"%(currentGroupNumber)
        continue
    # 开始解析Group下面的
    groupInfoList = ["group name", "disk total space", "disk free space", "trunk free space", "storage server count", "active server count", "storage server port", "storage HTTP port", "store path count", "subdir count per path", "current write server index", "current trunk file id"]
    for groupInfo in groupInfoList:
        result = re.findall("%s = (.+)"%(groupInfo),line)
        if len(result) ==1:
            serverinfo[currentGroupNumber][groupInfo] = result[0]
            payloadString="""{ "endpoint": "%s", "metric": "%s", "timestamp": %s, "step": %s, "value": %s, "counterType": "%s", "tags": "%s"} """%(falconEndpoint, groupInfo, falconTs, falconTimeStamp, falconValue(serverinfo[currentGroupNumber][groupInfo]),falconType(groupInfo),"group="+currentGroupNumber)
            falconPayload.append(yaml.load(payloadString))
            break
    # Storage 1:
    result16 = re.findall("Storage (\d+):",line)
    if len(result16) == 1:
        print result16
        currentStorageNumber = result16[0]
        serverinfo[currentGroupNumber][currentStorageNumber]={}
        #print "遇到了新的Storage:%s"%(currentStorageNumber)
        continue
    # 使用列表去处理
    storage_item_list=["id","ip_addr","http domain","version","join time","up time","total storage","free storage","upload priority","store_path_count","subdir_count_per_path","storage_port","storage_http_port","current_write_path","source","if_trunk_server","connection.alloc_count","connection.current_count","connection.max_count","total_upload_count","success_upload_count","total_append_count","success_append_count","total_modify_count","success_modify_count","total_truncate_count","success_truncate_count","total_set_meta_count","success_set_meta_count","total_delete_count","success_delete_count","total_download_count","success_download_count","total_get_meta_count","success_get_meta_count","total_create_link_count","success_create_link_count","total_delete_link_count","success_delete_link_count","total_upload_bytes","success_upload_bytes","total_append_bytes","success_append_bytes","total_modify_bytes","success_modify_bytes","stotal_download_bytes","success_download_bytes","total_sync_in_bytes","success_sync_in_bytes","total_sync_out_bytes","success_sync_out_bytes","total_file_open_count","success_file_open_count","total_file_read_count","success_file_read_count","total_file_write_count","success_file_write_count","last_heart_beat_time","last_source_update","last_sync_update","last_synced_timestamp", "connection.alloc_count","connection.current_count","connection.max_count","total_upload_count","success_upload_count","total_append_count","success_append_count","total_modify_count","success_modify_count","total_truncate_count","success_truncate_count","total_set_meta_count","success_set_meta_count","total_delete_count","success_delete_count","total_download_count","success_download_count","total_get_meta_count","success_get_meta_count","total_create_link_count","success_create_link_count","total_delete_link_count","success_delete_link_count","total_upload_bytes","success_upload_bytes","total_append_bytes","success_append_bytes","total_modify_bytes","success_modify_bytes","stotal_download_bytes","success_download_bytes","total_sync_in_bytes","success_sync_in_bytes","total_sync_out_bytes","success_sync_out_bytes","total_file_open_count","success_file_open_count","total_file_read_count","success_file_read_count","total_file_write_count","success_file_write_count","last_heart_beat_time","last_source_update","last_sync_update","last_synced_timestamp"]
    for storage_item in storage_item_list:
        print "开始寻找"+storage_item
        result = re.findall("^\s+%s = ([\S ]+)"%storage_item,line)
        if len(result) == 1:
        #print "发现匹配",
            #print line
            #print result
            serverinfo[currentGroupNumber][currentStorageNumber][storage_item] = result[0]
            payloadString="""{ "endpoint": "%s", "metric": "%s", "timestamp": %s, "step": %s, "value": %s, "counterType": "%s", "tags": "%s"} """%(falconEndpoint, storage_item, falconTs, falconTimeStamp, falconValue(serverinfo[currentGroupNumber][currentStorageNumber][storage_item]),falconType(storage_item),"group="+currentGroupNumber+",storage="+currentStorageNumber)
            falconPayload.append(yaml.load(payloadString))
            break

# 以下主要用于打印测试，pprint这个不错，可以格式化列表或者字典
#print serverinfo
#print len(serverinfo)
#pp = pprint.PrettyPrinter(indent = 4)
#pp.pprint(serverinfo)
#pp.pprint(falconPayload)
#print type(falconPayload)
#print len(falconPayload)
#print type(falconPayload[0])
#print json.dumps(falconPayload)

r = requests.post(falconAgentUrl, data=json.dumps(falconPayload))
print r.text

　结构

  • 采用fdfs_monitor得到当前fastdfs集群的结果
  • 读取monitor返回的结果
    • 采集整理变量（server_count, server_index, group count等）
    • 采集group的整体信息(group name, disk total space, disk free space等)
    • 采集group下面的storage的信息（id, ip_addr, join time, up time, total storage, free storage等）
  • 采用python上报方式，将指标进行dic和list化

监控指标

  • active server count/group=1 （某个group里面，活跃的节点）

这里写图片描述

  • disk free space/group=1 (描述某一个组里面的空闲空间大小)

这里写图片描述

  • group_count （fastdfs集群group的总数量）
    这里写图片描述

  • last_heart_beat_time/group=1,storage=1 (某个storage心跳状态)
    这里写图片描述

  • 某个storage操作计数器
    这里写图片描述

  • 某个storage是否ACTIVE

这里写图片描述

LifeSecret
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastDFS连接池实现文件上传并监控TrackerServer心跳
湖人•总冠军
01-23 8330
前言：         在使用fastDFS文件存储的时候，使用过程中会时不时出现 connect timed out，一部分原因是因为配置。         因此为应对此场景，创建连接池进行心跳监控保证长链接。 1.创建fastdfs连接池： /** * @Description: fastdfs连接池 * @version 1.0 * @Description */ publ...
FastDFS概念梳理
zhangchen的博客
05-05 388
FastDFS概念梳理
open-falcon监控系统组件学习之——agent组件
random_w的博客
09-02 1325
agent是监控系统中比较重要的一块，小米的oprn-falcon采用rpc的方式与server端进行通信，点击agent可以看到源码，当然，后面随着代码commit，本文介绍的部分内容会与实际代码不同，但思路是不会变的。 一、 Agent 模块启动流程 1. flag参数 main函数是整个agnet代码的入口，我们从这里开始进行分析。 cfg := flag.String("c", "cfg.json", "configuration file") version := flag.Bool("v",.
探索Open-Falcon Agent：一款高效监控解决方案
最新发布
gitblog_00095的博客
04-21 283
探索Open-Falcon Agent：一款高效监控解决方案 项目地址:https://gitcode.com/xiaoweix/Open-Falcon-Agent Open-Falcon Agent 是一个开源的监控代理工具，它是Open-Falcon整体监控系统的一部分。Open-Falcon是一个在中国互联网行业中广泛应用的分布式监控系统，旨在帮助企业实现大规模IT资源的实时监控和报警。 项...
Open-falcon Agent模块rpc通信过程
我回来了，就要有回来的意义
03-03 1万+
在解析Agent模块通信过程的同时，需要对Agent模块的内容进行简单的概述，主要包括以下几个方面，是支持Agent通信模块的基础内容。Open-falcon是小米公司开源的一个企业级运维监控系统，主要使用go语言编写。总体结构分为服务端与客户端，站在使用者的角度上看，可以有非常多个客户端对应一个服务
FastDFS文件系统+FastDFS-zyc监控系统搭建
panrenjun的博客
03-15 1186
1.25版本源码链接](https://sourceforge.net/projects/fastdfs/files/Java%20Client%20API%20Source%20Code/Java%20Client%20API%20Source%20Code%20V1.25/fastdfs_client_java._v1.25.tar.gz/download)一直报错，无法正常使用。[安装包链接](https://github.com/happyfish100/fastdfs)
go-fastdfs-web:Go-Fastdfs web管理平台
04-12
Go-Fastdfs web管理平台 go-fastdfs 是一个简单的分布式文件存储，具有高性能，高可靠，免维护等优点，支持断点续传，分块上传，小文件合并，自动同步，自动修复。本项目为go-fastdfs的web管理端 简单预览图 注意...
fastdfs-exporter
05-17
进行构建您可以自己获取存储库并使用make构建： $ go get github.com/ruanchen/fastdfs-exporter$ cd $GOPATH/src/github.com/ruanchen/fastdfs-exporter$ make build$ ./fastdfs-exporterDocker构建您可以通过以下...
fastdfs-client-java-1.29-SNAPSHOT.jar
07-03
解决 Maven 无法下载 fastdfs-client-java-1.29-SNAPSHOT 依赖，直接下载之后用maven命令存储到本地maven仓库即可。 maven命令 mvn install:install-file -DgroupId=org.csource -DartifactId=fastdfs-client-java ...
fastdfs-nginx-module.zip
03-22
在这个场景下，`fastdfs-nginx-module.zip`扮演着关键的角色，它是FastDFS与Nginx之间的重要桥梁。 FastDFS通常与Nginx结合使用，Nginx作为一个强大的反向代理和负载均衡服务器，负责接收HTTP请求，然后将这些请求...
FastDFS监控系统
07-23
FastDFS分布式文件系统监控中心
fastDFS监控系统
03-01
fastDFS监控系统copy 基本信息包括每个 storage 10 分钟之内的 MEM 的折线图，当前时间的 cpu、storage 在 线状态、iftrackServer 等
open-falcon之agent
weixin_30418341的博客
04-17 537
功能 采集数据，解析数据，上报数据至transfer 基本涵盖了系统层面监控指标，直接将数据转换为metricValue形式，上报至transfer 支持插件采集，代码插件放可受git管理，放置在plugin目录,从HBS中获取执行周期，版本等 支持数据直接上报，提供HTTPAPI，将收到的数据转换为metricValue形式，上报至transfer 支持HTTP API对自身控制 ...
fastdfs-zyc监控系统的使用
热门推荐
hnxydq的专栏
07-14 1万+
写在前面前面有介绍过怎么安装与使用FastDFS来进行分布式的文件存储，以及怎么使用FastDHT对上传文件去重，还有怎么使用varnish来配合FastDFS做内存缓存，进一步减轻FastDFS访问本地硬盘的压力。以上这些操作都是作为程序开发与部署的部分，当我们的系统正式搭建起来并线上使用时，我们显然不能要求使用者每次都登录Linux终端去查看当前集群的运行状况以及负载等信息。这个时候要是有一个系
FastDFS集群环境搭建（五）FastDFS监控器fdfs_monitor
爱清清的专栏
08-02 3812
文章目录FastDFS七种状态增加Storage节点删除Storage节点增加tracker节点 FastDFS七种状态 标识 含义 INIT 初始化，尚未得到同步已有数据的源服务器 WAIT_SYNC 等待同步，已得到同步已有数据的源服务器 SYNCING 同步中 DELETED 已删除，该服务器从本组中摘除 OFFLINE 离线 ONLINE 在线，尚不能...
open-falcon服务端和agent安装方法
yangshun的博客
08-02 529
小米推出了一款基于golang和python开发的开源的web自动化监控运维系统，应大家的要求，我将安装方法在这里留一下： 步骤： 部署前的准备 设置环境变量 redis安装 MySql安装 初始化Mysql脚本 下载open-falcon 安装GoLang环境 （只是使用的话，无需安装，略过） 开始部署 安装agent 安装hbs 安装transfer 安装graph...
open-falcon-agent部署
40kuai的博客
03-03 419
目前监控同时使用了阿里云云监控（基础监控）、prometheus（应用监控），监控系统比较混乱，接入方式以及查询入口、报警配置及报警方式不统一，所以使用open-falcon来做统一。 使用open-falcon对比prometheus主要是考虑一下几个方面： open-falcon相较prometheus方式有更好的性能。 open-falcon各个组件基本都是实现很好的横向扩展。 open-falcon对比prometheus可以通过hostgroup和template更好的管理应用、host、报警规
openfalcon源码分析之agent
weixin_33875564的博客
09-05 114
本节内容 agent功能 1.1 agent上报数据 1.2 agent与HBS同步 1.3 agent Http服务 agent源码分析 2.1 初始化config配置 2.2 初始化根目录，本地IP和rpc连接池 big mapper 2.3 定时同步各种数据 2.4 HTTP服务 agent设计优缺点 优点： 1. agent功能 agent的目的是收集目标机器上的所有数据，...
fastdfs-nginx-module 1.22下载
11-15
要下载 fastdfs-nginx-module 1.22，您可以按照以下步骤操作： 1. 在您的计算机上安装 Git：您可以访问官方网站（https://git-scm.com）下载 Git 安装程序，并根据指示进行安装。 2. 打开终端或命令提示符，使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值