grafana告警配置、告警通道及告警内容的安装和配置

本文主要介绍grafana的告警是如何配置的，以及在触发告警时通过邮件和企业微信消息将告警通知给用户，最后介绍了如何在告警内容中添加告警时刻的panel图片。

告警配置

grafana的告警触发以panel为基础，即每个panel单独配置告警信息，包括告警规则、触发条件、告警通知通道及内容，例：

告警通道

grafana官方最新版本7.0.5支持的告警通道 ：

使用钉钉的小伙伴还是有福的，可以直接通知到钉钉。

本文主要介绍了笔者在开发中用到的两种：邮件和企业微信

邮件

• 修改grafana配置文件：

 vim /etc/grafana/grafana.ini 
 
#################################### SMTP / Emailing ##########################
[smtp]
# 开启邮件通道
enabled = true
# 配置邮件服务器
host = smtp.exmail.qq.com:25
# 发件用户名和密码
user = xxx@company_a.com
password = ********
from_address = xxx@company_a.com
from_name = company_a

• WebUI配置邮件告警通道
  

点击测试按钮：

测试邮件内容如下：

Webhook

笔者所在公司使用的是企业微信，目前官方版本尚不支持发送告警到企业微信，不过，已经有开发者在github贡献了支持企业微信的代码，感兴趣的可以下载源码后自己编译安装。使用官方版本的话，发送通知到企业微信的需求，只能通过webhook的方式曲线救国。

本文仅以通过webhook将告警消息发送到企业微信为例介绍webhook的使用方式：

主要流程：

1. grafana监控触发了告警条件，发送告警http请求到nginx。
2. nginx将请求转发到处理告警信息的http服务
3. http服务需要自己根据告警需求进行开发，目的是将grafana的告警信息包装成自己需要的格式，按照企业微信机器人接口说明，发送请求到企业微信机器人接口。
4. 调用接口后，机器人就会在企业微信群中发布告警信息（此步骤为自动完成，前提是添加机器人到企业微信群）

在微信群添加机器人

添加好机器人后要记下参数key的值，后面会用到。

开发http服务

网上有人造好了轮子，但并未把告警详细信息（触发告警条件的数据指标）添加到告警内容中，笔者在前人的基础上做了修改，可以直接拿来使用。

下载代码：

git clone https://github.com/imuchen/g2ww.git

安装go语言环境可参考：https://www.runoob.com/go/go-environment.html

根据运行环境进行编译：

在运行机器上进行编译：
go build -o g2ww.linux *.go

在非运行机器上编译时，需要指定运行机器的环境，如：
GOOS=linux GOARCH=amd64 go build -o g2ww.linux *.go

运行：

./g2ww.linux 2>&1 &

Fiber v1.9.0 listening on 127.0.0.1:2408

服务启动成功，监听2408端口。

配置nginx代理

nginx安装部署可参考：https://www.runoob.com/linux/nginx-install-setup.html

修改nginx配置文件，使用80端口转发请求到http服务：

vim /usr/local/webserver/nginx/conf/nginx.conf

    server {
        listen       80;
        server_name  sdc7;# nginx域名
        location / {
            proxy_pass http://127.0.0.1:2408;# http服务ip+port
        }

启动nginx，已经启动的话重新加载配置文件：

# 启动nginx
/usr/local/webserver/nginx/sbin/nginx
# 重新加载配置文件
/usr/local/webserver/nginx/sbin/nginx -s reload

在grafana中配置webhook告警通道

Url填写nginx的域名+端口（默认80）,其中，红框中部分为企业微信机器人Webhook的key。配置完成后点击下面的测试按钮，配置正常的情况下，在微信群中会收到如下消息：

但是，当grafana真的触发告警时，收到的告警信息却是：

咦？图片哪里去了？

告警内容

告警图片

grafana在告警消息中添加图片的原理是，将告警时刻的panel渲染成一张图片，添加到告警信息中。而告警图片的渲染，并没有包含在grafana主程序中，而是需要单独启动。

安装image_rendering，可参考https://grafana.com/docs/grafana/latest/administration/image_rendering/

建议采用docker的方式启动，比较方便。直接安装的方式对机器环境有很多依赖，坑比较多。

由官网提供的docker-compose.yml文件：

version: '2'

services:
  grafana:
    image: grafana/grafana:master
    ports:
     - "3000:3000"
    environment:
      GF_RENDERING_SERVER_URL: http://renderer:8081/render
      GF_RENDERING_CALLBACK_URL: http://grafana:3000/
      GF_LOG_FILTERS: rendering:debug
  renderer:
    image: grafana/grafana-image-renderer:latest
    ports:
      - 8081

可见，官网介绍的docker启动方式为grafana主服务和image_rendering全部由docker启动，由于我本地已经启动了grafana主服务，所以docker只启动image_rendering。

修改docker-compose.yml文件为：

version: '2'

services:
  renderer:
    container_name: renderer
    image: grafana/grafana-image-renderer:latest
    ports:
      - 8081:8081
    environment:
      - GF_RENDERER_PLUGIN_TZ=Asia/Shanghai
      - GF_RENDERER_PLUGIN_IGNORE_HTTPS_ERRORS=true

执行命令，启动image_rendering：

docker-compose up -d 

查看已启动的docker容器，确认启动成功：

# docker ps -a
CONTAINER ID        IMAGE                                                   COMMAND                  CREATED             STATUS                    PORTS                      NAMES
95ec5566fd4a        grafana/grafana-image-renderer:latest                   "dumb-init -- node b…"   24 hours ago        Up 24 hours               0.0.0.0:8081->8081/tcp     renderer

可见，服务已在配置的8081端口启动成功。

接下来配置grafana中渲染图片的相关配置：

vim /etc/grafana/grafana.ini 
 
[external_image_storage]
# 渲染的图片存放在什么地方，笔者选择了本地
provider = local

[rendering]
# image_rendering服务地址
server_url = http://127.0.0.1:8081/render

修改配置后重启grafana服务：

systemctl restart grafana-server

打开浏览器进行测试：
随便选择一个panel，点击[Share]：

在打开的弹窗中点击[Direct link rendered image]:

顺利的话，你会看到在新的tab中生成了一张图片：

此时，如果grafana再次触发告警后，我们收到的微信消息中将会显示告警时的图片：