Prometheus+Grafana+Altermanager监控告警

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

wget https://github.com/prometheus/prometheus/releases/download/v2.3.0/prometheus-2.3.0.linux-amd64.tar.gz    #下载包
tar zxvf prometheus-2.3.0.linux-amd64.tar.gz -C ~/software   #解压包至指定任意目录，本人习惯所有工具放在一个地方统一管理
cd ~/software/prometheus-2.3.0.linux-amd64   #进入解压后的文件
vim  prometheus.yml    #编辑配置文件

• 修改/添加配置文件prometheus.yml
  job_name酌情命名，因为现在还不支持删除job信息;并且修改也是生成一个新的job，会出现新旧并存的情况（博主遇坑，回来做个提醒）

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9090']
      labels:
          instance: prometheus
  - job_name: node
    static_configs:
      - targets: ['localhost:9100']        #博主的node_exporter安装在本地，如果安装在其他机器使用IP即可，9100是node_exporter的端口号
        labels:
          instance: server1                #名称，根据自己爱好取就行了
  - job_name: mysql
    static_configs:
      - targets: ['localhost:9104']      #博主的mysqld_exporter安装在本地，如果安装在其他机器使用IP即可，9104是mysqld_exporter的端口号
        labels:
          instance: db1                     #名称，根据自己爱好取就行了
  - job_name: redis
    static_configs:
      - targets: ['localhost:9121']      #博主的redis_exporter安装在本地，如果安装在其他机器使用IP即可，9121是redis_exporter的端口号
        labels:
          instance: redis1                     #名称，根据自己爱好取就行了

• 启动prometheus

cd ~/software/prometheus-2.3.0.linux-amd64
nohup ./prometheus --config.file=prometheus.yml &     #启动prometheus并后台运行，推荐cd到目录下再运行，这样nohup的日志就会存在当前目录，如果在系统根目录下运行，所有的nohup.out日志文件会混淆
ps -ef | grep prometheus  #检查进程的方式查看是否运行成功，如果没有运行成功就去掉nohup直接运行查看一下错误原因

node_exporter

• node_exporter也是需要go的环境，安装在被监控的设备上(本文是都安装在同一台机器)
• 安装node_exporter

wget https://github.com/prometheus/node_exporter/releases/download/v0.18.0/node_exporter-0.18.0.linux-amd64.tar.gz    #下载包,v0.18版本，由于grafana仪表板支持v0.16、v0.17、v0.18版本
tar xvf node_exporter-0.18.0.linux-amd64.tar.gz -C ~/software   #解压包至指定任意目录，此处不多说

• 启动node_exporter

cd ~/software/node_exporter-0.18.0.linux-amd64   #进入解压后的文件
nohup ./node_exporter &    #启动node_pxporter并后台运行，推荐cd到目录下再运行，这样nohup的日志就会存在当前目录，如果在系统根目录下运行，所有的nohup.out日志文件会混淆
ps -ef | grep node_exporter  #检查进程的方式查看是否运行成功，如果没有运行成功就去掉nohup直接运行查看一下错误原因

mysqld_exporter

• mysqld_exporter也是需要go的环境，安装在被监控的设备上(本文是都安装在同一台机器)
• 安装mysqld_exporter

wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.10.0/mysqld_exporter-0.10.0.linux-amd64.tar.gz    #下载包
tar xvf mysqld_exporter-0.10.0.linux-amd64.tar.gz -C ~/software   #解压包至指定任意目录，此处不多说

• mysqld_exporter需要连接到Mysql，所以需要Mysql的权限，我们先为它创建用户并赋予所需的权限.

mysql -uroot -p密码
mysql> GRANT REPLICATION CLIENT,PROCESS ON *.* TO 'mysql_monitor'@'localhost' identified by 'mysql_monitor';
mysql> GRANT SELECT ON *.* TO 'mysql_monitor'@'localhost';

• 创建.my.cnf文件

vim ~/softwar/mysqld_exporter-0.10.0.linux-amd64/.my.cnf   #编辑.my.cnf文件，vim保存后会自动生成文件，写入如下内容
[client]
user=mysql_monitor
password=mysql_monitor

• 启动mysqld_exporter

cd ~/software/mysqld_exporter-0.10.0.linux-amd64   #进入解压后的文件
nohup ./mysqld_exporter -config.my-cnf=.my.cnf &    #启动mysqld_exporter并后台运行，推荐cd到目录下再运行，这样nohup的日志就会存在当前目录，如果在系统根目录下运行，所有的nohup.out日志文件会混淆
ps -ef | grep mysqld_exporter  #检查进程的方式查看是否运行成功，如果没有运行成功就去掉nohup直接运行查看一下错误原因

redis_exporter

• 安装redis_exporter

wget https://github.com/oliver006/redis_exporter/releases/download/v1.0.2/redis_exporter-v1.0.2.linux-amd64.tar.gz   #下载包
tar xvf redis_exporter-v1.0.2.linux-amd64.tar.gz -C ~/software   #解压包至指定任意目录，此处不多说

• 启动redis_exporter

cd ~/software/redis_exporter-v1.0.2.linux-amd64   #进入解压后的文件
nohup ./redis_exporter exporter redis://localhost:16379 &    #启动redis_exporter并后台运行，推荐cd到目录下再运行，这样nohup的日志就会存在当前目录，如果在系统根目录下运行，所有的nohup.out日志文件会混淆
ps -ef | grep redis_exporter  #检查进程的方式查看是否运行成功，如果没有运行成功就去掉nohup直接运行查看一下错误原因

查看prometheus配置

安装完成后，查看一下prometheus是否识别到相应监控，访问
http://localhost:9090/targets Status->Targets页面，如果可以看到Target的状态已经变成UP，就是成功

如果没有成功，建议杀掉prometheus进程，重新启动一次

安装Grafana

grafana官网有安装方式的教程 https://grafana.com/grafana/download

ubuntu安装，命令行执行如下命令

wget https://dl.grafana.com/oss/release/grafana_6.2.2_amd64.deb  #下载安装包
sudo dpkg -i grafana_6.2.2_amd64.deb  #安装
sudo service grafana-server start  #启动grafana

启动后，访问本地链接 http://localhost:3000/login ，默认用户名“admin”默认密码“admin”，登录后重置密码。

Grafana图形化

配置grafana-prometheus

• 添加data sources，点击添加选择prometheus即可
  
• 添加后配置相关信息即可，写入prometheus的URL，点击“Save&Test”提示绿色成功即可
  

配置grafana-node_exporter仪表版

• 导入Prometheus仪表版，Dashboards–Manage–import
• 在 Granfana.com-Dashboard中填写8919，点击load即可。（https://grafana.com/dashboards 中可以直接搜索prometheus，copy ID to Clipboard，grafana官网提供了大量的仪表板模板可以使用）
  
• 修改仪表版名称和选择“prometheus_111”为Prometheus即可（如果这里提示没有数据库，就是前面的data sources没有添加好需要重新检查）
  
• 进入仪表板就可以在仪表版看到相应的监控
  
• 仪表板中有一个提示“Panel plugin not found: grafana-piechart-panel”，则grafana安装饼图插件既可以了

sudo grafana-cli plugins install grafana-piechart-panel  #grafana安装饼图插件
sudo service grafana-server restart  #重启grafana即可

配置grafana-mysqld_exporter仪表版

• 导入Prometheus仪表版，Dashboards–Manage–import。方式同上
• 在 Granfana.com-Dashboard中填写7362，点击load即可。（https://grafana.com/dashboards 中可以直接搜索MySQL Overview，copy ID to Clipboard，grafana官网提供了大量的仪表板模板可以使用）。方式同上
• 修改仪表版名称和选择“prometheus”为Prometheus即可（如果这里提示没有数据库，就是前面的data sources没有添加好需要重新检查）
  
• 进入仪表板就可以在仪表版看到相应的监控
  

配置grafana-redis_exporter仪表版

• 导入Prometheus仪表版，Dashboards–Manage–import
• 在 Granfana.com-Dashboard中填写2751，点击load即可。（https://grafana.com/dashboards 中可以直接搜索Prometheus Redis，copy ID to Clipboard，grafana官网提供了大量的仪表板模板可以使用）
• 修改仪表版名称和选择“prom”为Prometheus即可（如果这里提示没有数据库，就是前面的data sources没有添加好需要重新检查）
  
• 进入仪表板就可以在仪表版看到相应的监控（本机并未安装redis所以为空）
  

Altermanager监控告警

1. 首先配置邮件服务

sudo apt-get install sendmail  # 安装邮件发送服务
vim /etc/grafana/grafana.ini  # 添加邮件配置，如下图
sudo service grafana-server restart  # 重启grafana服务

2. 配置grafana邮件
填写收件邮箱即可，点击send test可以测试邮件发送，成功会有如图绿色提示。

邮箱收到测试邮件

3. altermanager介绍

实现prometheus的告警，需要通过altermanager这个组件；在prometheus服务端写告警规则，在altermanager组件配置邮箱

Alertmanager与Prometheus是相互分离的两个组件。Prometheus服务器根据报警规则将警报发送给Alertmanager，然后Alertmanager将silencing、inhibition、aggregation等消息通过电子邮件、dingtalk和HipChat发送通知。

Alertmanager处理由例如Prometheus服务器等客户端发来的警报。它负责删除重复数据、分组，并将警报通过路由发送到正确的接收器，比如电子邮件、Slack、dingtalk等。Alertmanager还支持groups,silencing和警报抑制的机制。

4. 安装altermanager

wget https://github.com/prometheus/alertmanager/releases/download/v0.19.0/alertmanager-0.19.0.linux-amd64.tar.gz  # 下载altermanager
tar xvf alertmanager-0.19.0.linux-amd64.tar.gz -C ~/software  #解压至指定文件夹
vim ~/software/alertmanager-0.19.0.linux-amd64/altermanager.yml  # altermanager配置邮箱，如下
nohup ./alertmanager --config.file=alertmanager.yml  &  # 根据配置启动altermanager

（最好是用QQ邮箱！本人亲试公司邮箱host不可用，总是报错TLS证书问题。
QQ邮箱服务器smtp@qq.com:465 ，smtp_require_tls一定要改为false，QQ邮箱不支持。
同时smtp_auth_password填写的是第三方登录 QQ 邮箱的授权码，非 QQ 账户登录密码。
获取方式在 QQ 邮箱服务端设置开启 POP3/SMTP 服务时会提示）
真的很坑爹

5. 修改prometheus配置文件

vim ~/software/prometheus-2.3.0.linux-amd64/prometheus.yml  # 修改prometheus配置文件
# 修改如下(规则文件名根据自定义配置， rule_files可以指定多个规则)

6. 编写规则文件
规则文件有标准的语法需要注意，以下为样例(从别人那里复制来的)：

vim ~/software/prometheus-2.3.0.linux-amd64/rules.yml  # 创建并编写规则文件(要求与配置中名称一致)

groups:
    - name: test-rules
      rules:
      - alert: InstanceDown
        expr: up == 0
        for: 2m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}: has been down"
          description: "{{$labels.instance}}: job {{$labels.job}} has been down"
    - name: base-monitor-rule
      rules:
      - alert: NodeCpuUsage
        expr: (100 - (avg by (instance) (rate(node_cpu{job=~".*",mode="idle"}[2m])) * 100)) > 99
        for: 15m
        labels:
          service_name: test
          level: warning
        annotations:
          description: "{{$labels.instance}}: CPU usage is above 99% (current value is: {{ $value }}"
      - alert: NodeMemUsage
        expr: avg by  (instance) ((1- (node_memory_MemFree{} + node_memory_Buffers{} + node_memory_Cached{})/node_memory_MemTotal{}) * 100) > 90
        for: 15m
        labels:
          service_name: test
          level: warning
        annotations:
          description: "{{$labels.instance}}: MEM usage is above 90% (current value is: {{ $value }}"
      - alert: NodeDiskUsage
        expr: (1 - node_filesystem_free{fstype!="rootfs",mountpoint!="",mountpoint!~"/(run|var|sys|dev).*"} / node_filesystem_size) * 100 > 80
        for: 2m
        labels:
          service_name: test
          level: warning
        annotations:
          description: "{{$labels.instance}}: Disk usage is above 80% (current value is: {{ $value }}"
      - alert: NodeFDUsage
        expr: avg by (instance) (node_filefd_allocated{} / node_filefd_maximum{}) * 100 > 80
        for: 2m
        labels:
          service_name: test
          level: warning
        annotations:
          description: "{{$labels.instance}}: File Descriptor usage is above 80% (current value is: {{ $value }}"


![img](https://img-blog.csdnimg.cn/img_convert/c8652f76d8b0bb90d22be78454789797.png)
![img](https://img-blog.csdnimg.cn/img_convert/d64aeaee0a6e6b1fad344118c4c480f3.png)
![img](https://img-blog.csdnimg.cn/img_convert/9ce9a34620ce573cfdd88f620c10bc9d.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**

(current value is: {{ $value }}"


[外链图片转存中...(img-6k4emWjZ-1715819936664)]
[外链图片转存中...(img-0BJyXtzs-1715819936665)]
[外链图片转存中...(img-vx75zw4W-1715819936665)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618631832)**