mysql kill hup_沃趣科技-文档-prometheus配置MySQL邮件报警

前两期文章(引用沃趣技术——《prometheus监控多个MySQL实例》、《构建狂拽炫酷屌的MySQL监控平台》)介绍了prometheus、grafana、exporter的安装以及集中监控mysql节点的方法，这篇文章介绍一下prometheus的邮件报警配置。

alertmanager下载

prometheus报警配置需要用到alertmanager组件，这个组件可以到prometheus官网上进行下载。

https://prometheus.io/download/

由于最新版本的alertmanager组件配置邮箱通讯存在一些问题，我们这里选择在github上下载0.14版本的alertmanager。

https://github.com/prometheus/alertmanager

附具体下载地址：

https://github.com/prometheus/alertmanager/releases/download/v0.14.0/alertmanager-0.14.0.linux-amd64.tar.gz

alertmanager安装配置

将下载的alertmanager包进行解压安装。

tar -xf alertmanager-0.14.0.linux-amd64.tar.gz

mv alertmanager-0.14.0.linux-amd64 /data/alertmanager

编辑alertmanager的配置文件，添加邮箱信息。

# cd /data/alertmanager

# cat alertmanager.yml

global:

smtp_smarthost: smtp.exmail.xxx.com:465 # 发件人邮箱smtp地址

smtp_auth_username: xxxx@xxx.com # 发件人邮箱账号

smtp_from: xxx@xxx.com # 发件人邮箱账号

smtp_auth_password: xxxxxx # 发件人邮箱密码

resolve_timeout: 5m

smtp_require_tls: false

route:

# group_by: ["alertname"] # 报警分组依据

group_wait: 10s # 最初即第一次等待多久时间发送一组警报的通知

group_interval: 10s # 在发送新警报前的等待时间

repeat_interval: 1m # 发送重复警报的周期 对于email配置中多频繁

receiver: "email"

receivers:

- name: email

email_configs:

- send_resolved: true

to: xxx@xxx.com # 收件人邮箱账号

启动alertmanager。

# cd /data/alertmanager

./alertmanager --config.file=alertmanager.yml &

alertmanager的默认端口为9093。

prometheus配置

在prometheus目录下编辑报警模版alert_rules.yml，添加一些自定义报警项。

# cd /data/prometheus

# cat alert_rules.yml

groups:

- name: MySQL-rules

rules:

- alert: MySQL Status # 告警名称

expr: up == 0

for: 5s # 满足告警条件持续时间多久后，才会发送告警

annotations: # 解析项，详细解释告警信息

summary: "{{$labels.instance}}: MySQL has stop !!!"

value: "{{$value}}"

alertname: "MySQL数据库停止运行"

description: "检测MySQL数据库运行状态"

message: 当前数据库实例{{$labels.instance}}已经停止运行，请及时处理

- alert: MySQL Slave IO Thread Status # 告警名称

expr: mysql_slave_status_slave_io_running == 0

for: 5s # 满足告警条件持续时间多久后，才会发送告警

annotations: # 解析项，详细解释告警信息

summary: "{{$labels.instance}}: MySQL Slave IO Thread has stop !!!"

value: "{{$value}}"

alertname: "MySQL主从IO线程停止运行"

description: "检测MySQL主从IO线程运行状态"

message: 当前数据库实例{{$labels.instance}} IO线程已经停止运行，请及时处理

- alert: MySQL Slave SQL Thread Status # 告警名称

expr: mysql_slave_status_slave_sql_running == 0

for: 5s # 满足告警条件持续时间多久后，才会发送告警

annotations: # 解析项，详细解释告警信息

summary: "{{$labels.instance}}: MySQL Slave SQL Thread has stop !!!"

value: "{{$value}}"

alertname: "MySQL主从SQL线程停止运行"

description: "检测MySQL主从SQL线程运行状态"

message: 当前数据库实例{{$labels.instance}} SQL线程已经停止运行，请及时处理

- alert: MySQL Slave Delay Status # 告警名称

expr: mysql_slave_status_sql_delay == 30

for: 5s # 满足告警条件持续时间多久后，才会发送告警

annotations: # 解析项，详细解释告警信息

summary: "{{$labels.instance}}: MySQL Slave Delay has more than 30s !!!"

value: "{{$value}}"

alertname: "MySQL主从延时过大"

description: "检测MySQL主从延时状态"

message: 当前数据库实例{{$labels.instance}} 主从延时状态已经超过30s，请及时处理

在prometheus目录下编辑prometheus的配置文件，将监控的配置信息添加到prometheus.yml。

# cd /data/prometheus

# cat prometheus.yml

# my global config

global:

scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.

evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.

# scrape_timeout is set to the global default (10s).

# Alertmanager configuration

alerting:

alertmanagers:

- static_configs:

- targets:

- 172.18.0.24:9093 # 对应启动的altermanager节点的9093端口

# Load rules once and periodically evaluate them according to the global "evaluation_interval".

rule_files:

- "alert_rules.yml" # 对应前面编辑的报警模版alert_rules.yml文件

# A scrape configuration containing exactly one endpoint to scrape:

scrape_configs:

- file_sd_configs:

- files:

- mysql.yml

job_name: MySQL

metrics_path: /metrics

relabel_configs:

- source_labels: [__address__]

regex: (.*)

target_label: __address__

replacement: $1

编辑完成后，重新加载一下配置更改。

kill -HUP [prometheus PID]

验证邮件报警

登陆prometheus的web页面，查看报警信息。

浏览器输入Prometheus_IP:9090 ，可以看到各个报警项的状态。

停掉主从线程，模拟触发报警。

Slave SQL线程停掉后，报警项颜色变成黄色，持续时间超过定义的持续时间后，颜色变红，并发送邮件。

收到邮件告警。

| 作者简介

李文航·沃趣科技数据库技术专家

熟悉MySQL体系结构和工作原理、SQL调优、数据库故障诊断、数据迁移、备份恢复。