prometheus监控系统规范与流程

概要

本文档主要介绍监控的使用方法、监控的配置规范以及监控的使用流程。

简介：

监控使用的架构为exporter+prometheus+grafana+alermanager。其中exporter包含主机，http/tcp和进程探测等功能。prometeus通过pull的方式采集机器上的指标并评估指标，将符合rule规则的指标推送至alertmanager，alertmanager通过各种渠道推送相应的告警。grafana展示prometheus采集的各种指标。监控简要架构图如下：

一、部署规范

说明:
部署规范主要涉及配置文件路径规范、端口规范
配置文件路径规范，以及端口规范如下表：

部署规范
服务或说明	端口	配置文件路径或目录	说明
目录概要		/data/monitor/bin	所有监控可执行程序目录
		/data/monitor/etc	监控各个模块的程序配置目录
		/data/monitor/dis	服务发现
		/usr/lib/systemd/system	服务自启动目录
prometheus	9090	/data/monitor/etc/prometheus.yml	主配置文件
		/var/lib/prometheus	tsdb存储路径
		/data/monitor/prometheus-2.28.1.linux-amd64/consoles	console模板路径
		/data/monitor/prometheus-2.28.1.linux-amd64/console_libraries	console lib
		/data/monitor/rules	规则文件
node-exporter	9100	/data/monitor/bin/node_exporter	二进制启动文件
process-exporter	9256	/data/monitor/etc/process_define.yml	process-exporter配置文件
		/data/monitor/dis/process_dis.yml	process-exporter配置文件（prometheus端）
blackbox-exporter	9115	/data/monitor/etc/blackbox.yml	blackbox-exporter配置文件（模块）
		/data/monitor/dis/blackbox_dis.yml	blackbox-exporter配置发现文件（prometheus端）
alertmanager	9093	/data/monitor/etc/alertmanager.yml	主配置文件
		/var/lib/alertmanager/data	告警信息存储路径
grafana	3000	/etc/grafana	grafana配置文件
		/var/lib/grafana	grafana数据文件

部署步骤：
监控部署组件安装包已经集成在ansible中，以下主要介绍安装部署的使用方法：
1、进入monitor-init目录在target.yml文件中添加各个主机需要安装的角色：

2、接着定义变量值（路径monitor-init/vars/settings.yml）

需要修改的变量有：
alertmanager_info： alertmanager的ip和端口
blackbox_info： blackbox_exporter的ip和端口
alertmanager_email_smtp_from： 企业邮箱的账号
alertmanager_email_smtp_smarthost： 企业邮箱的smarthost（每个邮箱产品都会有自己的smar thost）
alertmanager_email_smtp_auth_username: 邮箱的账号
alertmanager_email_smtp_auth_password： 邮箱密码（不是邮箱登录密码，指的是邮箱开启smtp pop3的验证码）
alertmanager_receive_email_to：告警接收人的邮箱
alertmanager_receive_webhook_to： alertmanager webhook地址
3、修改完成后执行ansible-playbook -i target.yml main.yml即可。

二、配置命名规范与配置方法

部署完告警之后，下一步需要在prometheus配置文件中加入各个告警机器的信息。由于告警采用的是基于文件发现的服务机制，所以特定的文件配置着特定功能的exporter。配置规则如下：

1、node_exporter

配置路径： /data/monitor/dis/blackbox_dis.yml
配置命名规范：
targets：node_exporter的ip:port
tags：生产环境、测试环境或者开发环境
name： 组织或者产品（例如：”神仙道”,”运维”）name的主要作用是为了区分graf