CentOS7+Prometheus+Grafana+Altermanager监控告警+钉钉通知+邮件推送

24 篇文章 0 订阅
6 篇文章 0 订阅

安装部署

基础环境
操作系统:CentOS 7.7
MySQL:5.7

安装go环境

  • 选择go安装包 传送门
  • 下载安装go,及环境配置
    确定要下载的go安装包后,右键复制链接地址,在终端使用wget进行下载,操作命令如下:
    wget https://studygolang.com/dl/golang/go1.13.5.linux-amd64.tar.gz   #下载go安装包
    
    tar -C /usr/local -zxvf go1.13.5.linux-amd64.tar.gz   #解压到/usr/local目录下
    
    vim /etc/profile   #打开环境变量配置文件,末尾写入如下内容(位置根据实际的存放位置为准)
    
    export GO_HOME=/usr/local/go
    export PATH=$GO_HOME/bin:$PATH
    #添加完成后:wq保存退出
    
    source /etc/profile   # 重启环境变量
    go version    #查看版本号验证是否安装成功
    
    

安装Prometheus

  • 下载Prometheus安装包 传送门

  • 下载安装Prometheus及环境配置
    确定要下载的安装包后,右键复制链接地址,在终端使用wget进行下载,操作命令如下:

    mkdir -p /software/installs   #安装包安装目录,根据自己习惯设定
    mkdir -p /software/pkgs   #安装包存储目录,根据自己习惯设定
    
    cd /software/pkgs
    wget https://github.com/prometheus/prometheus/releases/download/v2.14.0/prometheus-2.14.0.linux-amd64.tar.gz   #下载Prometheus安装包
    
    #创建prometheus用户
    groupadd prometheus
    useradd -g prometheus prometheus -d /software/installs/prometheus
    
    cd /software/pkgs
    tar -zxvf prometheus-2.14.0.linux-amd64.tar.gz -C /software/installs/   #解压包至指定目录,根据自己习惯
    
    mv /software/installs/prometheus-2.14.0.linux-amd64 /software/installs/prometheus
    cd /software/installs/prometheus   #进入解压后的文件
    mkdir {data,cfg,logs,bin} -p
    mv prometheus promtool bin/
    mv prometheus.yml cfg/
    
    chown -R prometheus.prometheus *
    
    #设置环境变量
    vim /etc/profile
    
    #末尾加入如下内容
    export PROMETHEUS_HOME=/software/installs/prometheus
    export PATH=$PROMETHEUS_HOME/bin:$PATH
    #添加后确认无误:wq保存并退出
    
    source /etc/profile   #重新加载环境变量
    
    
  • 创建prometheus.service 的 systemd unit 文件

    vim /etc/systemd/system/prometheus.service
    
    #加入如下内容
    [Unit]
    Description=Prometheus
    Documentation=https://prometheus.io/
    After=network.target
    
    [Service]
    Type=simple
    User=prometheus
    ExecStart=/software/installs/prometheus/bin/prometheus --config.file=/software/installs/prometheus/cfg/prometheus.yml --storage.tsdb.path=/software/installs/prometheus/data   #这里是重点,注意每个目录与上面保持一致
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target
    #完成且检查无误后:wq保存并退出
    
    
  • prometheus.yml配置文件

    #末尾处加入如下内容
      	labels:
        instance: prometheus
    - job_name: node
    static_configs:
      - targets: ['localhost:9100']        #博主的node_exporter安装在本地,如果安装在其他机器使用IP即可,9100是node_exporter的端口号
        labels:
          instance: server1                #名称,根据自己爱好取就行了
          
    - job_name: mysql
    static_configs:
      - targets: ['localhost:9104']      #博主的mysqld_exporter安装在本地,如果安装在其他机器使用IP即可,9104是mysqld_exporter的端口号
        labels:
          instance: db1                     #名称,根据自己爱好取就行了
          
    - job_name: redis
    static_configs:
      - targets: ['localhost:9121']      #博主的redis_exporter安装在本地,如果安装在其他机器使用IP即可,9121是redis_exporter的端口号
        labels:
          instance: redis1                     #名称,根据自己爱好取就行了
    #添加完成后:wq保存退出
    
    
  • 启动prometheus服务

    systemctl daemon-reload
    systemctl enable prometheus.service
    systemctl start prometheus.service
    

    这里遇到了重启失败的情况,经过多次尝试终于找到问题,由于是yml格式,对缩进格式要求非常严格,要保证添加的配置-job_name和原来已有的保持同级,处理过程为:

    1. 检查prometheus.service文件配置目录是否正确,确认没有问题

    2. 执行prometheus --config.file=/software/installs/prometheus/cfg/prometheus.yml后看到启动prometheus服务详情信息发现其格式有误,这里真的很难发现问题。
      在这里插入图片描述
      图片中的错误信息为:

      level=error ts=2019-12-20T07:22:15.646Z caller=main.go:736 err=“error loading config from “/software/installs/prometheus/cfg/prometheus.yml”: couldn’t load configuration (–config.file=”/software/installs/prometheus/cfg/prometheus.yml"): parsing YAML file /software/installs/prometheus/cfg/prometheus.yml: yaml: line 40: did not find expected key"

      格式问题处理完成后,再使用上述命令重启prometheus服务就没有问题了。
      具体格式如下,红框内缩进格式一定要保持一致:
      在这里插入图片描述

  • 查看prometheus运行状态

    systemctl status prometheus.service
    

    在这里插入图片描述

  • Prometheus自带有简单的UI, http://ip:9090/targets
    如果访问不了,且使用的是阿里云服务器,请到阿里云控制台安全组开放9090端口,开启9090端口后访问结果如下:
    在这里插入图片描述

安装node_exporter

  • node_exporter也是需要go的环境,安装在被监控的设备上(本文是都安装在同一台机器)

  • 下载node_exporter安装包 传送门

  • 下载安装node_exporter及环境配置
    确定要下载的安装包后,右键复制链接地址,在终端使用wget进行下载,操作命令如下:

    cd /software/pkgs
    wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz
    
    #解压到prometheus目录下
    tar zxvf node_exporter-0.18.1.linux-amd64.tar.gz -C /software/installs/prometheus/
    
    mv /software/installs/prometheus/node_exporter-0.18.1.linux-amd64 /software/installs/prometheus/node_exporter   #重命名
    cd /software/installs/prometheus/node_exporter   #进入解压后的文件
    mkdir bin -p
    mv node_exporter bin/
    
    chown -R prometheus.prometheus /software/installs/prometheus/node_exporter   #改变node_exporter所属用户及用户组
    
    #设置环境变量
    vim /etc/profile
    
    #末尾加入如下内容
    export NODE_EXPORTER_HOME=/software/installs/prometheus/node_exporter
    export PATH=$NODE_EXPORTER_HOME/bin:$PATH
    #添加后确认无误:wq保存并退出
    
    source /etc/profile   #重新加载环境变量
    
    
  • 创建node_exporter.service的 systemd unit 文件

    vim /usr/lib/systemd/system/node_exporter.service
    
    #加入如下内容
    [Unit]
    Description=node_exporter
    Documentation=https://prometheus.io/
    After=network.target
    
    [Service]
    Type=simple
    User=prometheus
    ExecStart=/software/installs/prometheus/node_exporter/bin/node_exporter
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target
    #完成且检查无误后:wq保存并退出
    
    
  • 启动node_exporter服务

    systemctl daemon-reload
    systemctl enable node_exporter.service
    systemctl start node_exporter.service
    
  • 查看node_exporter运行状态

    systemctl status node_exporter.service
    

    在这里插入图片描述
    如果访问http://ip:9090/targets看不到node服务节点,且使用的是阿里云服务器,请到阿里云控制台安全组开放9100端口。

  • 注意事项
    如果不想使用.service文件处理服务启动,或找不到添加启动服务文件的目录,可以使用如下方式启动并设置后台运行:

    #启动服务并设置后台运行
    cd /software/installs/prometheus/node_exporter /bin
    
    nohup node_exporter &   #启动node_pxporter并后台运行,推荐cd到目录下再运行,这样nohup的日志就会存在当前目录,如果在系统根目录下运行,所有的nohup.out日志文件会混淆
    
    ps -ef | grep mysqld_exporter #检查进程的方式查看是否运行成功,如果没有运行成功就去掉nohup直接运行查看一下错误原因
    
    

安装mysqld_exporter

  • mysqld_exporter也是需要go的环境,安装在被监控的设备上(本文是都安装在同一台机器)

  • 下载mysqld_exporter安装包 传送门

  • 下载安装mysqld_exporter及环境配置
    确定要下载的安装包后,右键复制链接地址,在终端使用wget进行下载,操作命令如下:

    cd /software/pkgs
    
    wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz
    #解压到prometheus目录下
    tar zxvf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /software/installs/prometheus
    
    mv /software/installs/prometheus/mysqld_exporter-0.12.1.linux-amd64 /software/installs/prometheus/mysqld_exporter   #重命名
    cd /software/installs/prometheus/mysqld_exporter   #进入解压后的文件
    mkdir {bin,cfg} -p
    mv mysqld_exporter bin/
    
    chown -R prometheus.prometheus /software/installs/prometheus/mysqld_exporter #改变mysqld_exporter所属用户及用户组
    
    #设置环境变量
    vim /etc/profile
    
    #末尾加入如下内容
    export MYSQLD_EXPORTER_HOME=/software/installs/prometheus/mysqld_exporter
    export PATH=$MYSQLD_EXPORTER_HOME/bin:$PATH
    #添加后确认无误:wq保存并退出
    
    source /etc/profile   #重新加载环境变量
    
    
  • 创建mysqld_exporter.service的 systemd unit 文件

    vim /usr/lib/systemd/system/mysqld_exporter.service
    
    #加入如下内容
    [Unit]
    Description=mysqld_exporter
    Documentation=https://prometheus.io/
    After=network.target
    
    [Service]
    Type=simple
    User=prometheus
    ExecStart=/software/installs/prometheus/mysqld_exporter/bin/mysqld_exporter --config.my-cnf=/software/installs/prometheus/mysqld_exporter/cfg/.my.cnf
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target
    #完成且检查无误后:wq保存并退出
    
    
  • 添加mysqld_exporter服务的mysql用户
    mysqld_exporter需要连接到Mysql,所以需要Mysql的权限,我们先为它创建用户并赋予所需的权限。

    mysql -uroot -p密码
    mysql> GRANT REPLICATION CLIENT,PROCESS ON *.* TO 'mysql_monitor'@'localhost' identified by 'mysql_monitor';
    mysql> GRANT SELECT ON *.* TO 'mysql_monitor'@'localhost';
    
    
  • 创建.my.cnf文件

    vim /software/installs/prometheus/mysqld_exporter/cfg/.my.cnf
    
    #加入如下内容
    [client]
    user=mysql_monitor
    password=mysql_monitor
    #添加完成后:wq保存并退出
    
    
  • 启动mysqld_exporter服务

    systemctl daemon-reload
    systemctl enable mysqld_exporter.service
    systemctl start mysqld_exporter.service
    
  • 查看mysqld_exporter运行状态

    systemctl status mysqld_exporter.service
    

    在这里插入图片描述
    如果访问http://ip:9090/targets看不到mysql服务节点,且使用的是阿里云服务器,请到阿里云控制台安全组开放9104端口。

  • 注意事项
    如果不想使用.service文件处理服务启动,或找不到添加启动服务文件的目录,可以使用如下方式启动并设置后台运行:

    #启动服务并设置后台运行
    cd /software/installs/prometheus/mysql_exporter/bin
    
    nohup mysqld_exporter -config.my-cnf=../cfg/.my.cnf &   ##启动mysqld_exporter并后台运行,推荐cd到目录下再运行,这样nohup的日志就会存在当前目录,如果在系统根目录下运行,所有的nohup.out日志文件会混淆
    
    ps -ef | grep mysqld_exporter #检查进程的方式查看是否运行成功,如果没有运行成功就去掉nohup直接运行查看一下错误原因
    
    

安装redis_exporter

  • 下载redis_exporter安装包 传送门

  • 下载安装redis_exporter及环境配置
    确定要下载的安装包后,右键复制链接地址,在终端使用wget进行下载,操作命令如下:

    cd /software/pkgs
    
    wget https://github.com/oliver006/redis_exporter/releases/download/v1.3.5/redis_exporter-v1.3.5.linux-amd64.tar.gz
    
    #解压到prometheus目录下
    tar zxvf redis_exporter-v1.3.5.linux-amd64.tar.gz -C /software/installs/prometheus/
    
    mv /software/installs/prometheus/redis_exporter-v1.3.5.linux-amd64 /software/installs/prometheus/redis_exporter   #重命名
    cd /software/installs/prometheus/redis_exporter   #进入解压后的文件
    mkdir {bin,cfg} -p
    mv redis_exporter bin/
    
    chown -R prometheus.prometheus /software/installs/prometheus/redis_exporter   #改变redis_exporter所属用户及用户组
    
    #设置环境变量
    vim /etc/profile
    
    #末尾加入如下内容
    export REDIS_EXPORTER_HOME=/software/installs/prometheus/redis_exporter
    export PATH=$REDIS_EXPORTER_HOME/bin:$PATH
    #添加后确认无误:wq保存并退出
    
    source /etc/profile   #重新加载环境变量
    
    
  • 创建redis_exporter.service的 systemd unit 文件

    vim /usr/lib/systemd/system/redis_exporter.service
    
    #加入如下内容
    [Unit]
    Description=redis_exporter
    Documentation=https://prometheus.io/
    After=network.target
    
    [Service]
    Type=simple
    User=prometheus
    ExecStart=/software/installs/prometheus/redis_exporter/bin/redis_exporter
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target
    #完成且检查无误后:wq保存并退出
    
    
  • 启动mysqld_exporter服务

    systemctl daemon-reload
    systemctl enable redis_exporter.service
    systemctl start redis_exporter.service
    
  • 查看mysqld_exporter运行状态

    systemctl status redis_exporter.service
    

    在这里插入图片描述
    如果访问http://ip:9090/targets看不到redis服务节点,且使用的是阿里云服务器,请到阿里云控制台安全组开放9121端口。

  • 注意事项
    如果不想使用.service文件处理服务启动,或找不到添加启动服务文件的目录,可以使用如下方式启动并设置后台运行:

    #启动服务并设置后台运行
    cd /software/installs/prometheus/redis_exporter/bin
    
    nohup ./redis_exporter exporter redis://localhost:6379 &   #启动redis_exporter并后台运行,推荐cd到目录下再运行,这样nohup的日志就会存在当前目录,如果在系统根目录下运行,所有的nohup.out日志文件会混淆
    
    ps -ef | grep redis_exporter  #检查进程的方式查看是否运行成功,如果没有运行成功就去掉nohup直接运行查看一下错误原因
    
    

安装配置成果:
在这里插入图片描述

安装Grafana

  • 下载Grafana安装包 传送门

  • 下载安装Grafana及环境配置
    确定要下载的安装包后,右键复制链接地址,在终端使用wget进行下载,操作命令如下:

    cd /software/pkgs
    
    wget https://dl.grafana.com/oss/release/grafana-6.5.2-1.x86_64.rpm
    
    #安装grafana,无需指定安装目录,默认即可,否则可能会由于依赖等问题导致安装失败
    yum localinstall grafana-6.5.2-1.x86_64.rpm
    
    
  • 设置grafana服务开机自启动及开启服务

    systemctl daemon-reload
    systemctl enable grafana-server.service
    systemctl start grafana-server.service
    
    
  • 查看mysqld_exporter运行状态

    systemctl status grafana-server.service
    

    在这里插入图片描述

  • 登录grafana图形化界面

    1. 访问grafana网页: http://ip:3000/login ,默认用户名“admin”默认密码“admin”,登录后重置密码。

    2. 如果访问http://ip:3000/login失败,且使用的是阿里云服务器,请到阿里云控制台安全组开放3000端口。
      不知道是我操作的问题还是其他原因,登录后修改密码提示未认证,修改密码后登录不跳转,我强制刷新之后又自动登录了,疑惑!

    登录后界面:
    在这里插入图片描述

配置grafana-node_exporter仪表版

  • 添加data sources,点击添加选择prometheus即可
    在这里插入图片描述
  • Name默认Prometheus,URL填写上面配置的prometheus地址http://ip:9090,其他默认,保存即可
    在这里插入图片描述
  • 在Dashboards页面导入Prometheus Status模板,这里选择导入官网的模板
    在这里插入图片描述
  • 导入Prometheus仪表版,Dashboards–Manage–import
  • 在 Granfana.com-Dashboard中填写8919,点击load即可。(https://grafana.com/dashboards 中可以直接搜索prometheus,copy ID to Clipboard,grafana官网提供了大量的仪表板模板可以使用)
    在这里插入图片描述
    在这里插入图片描述
  • 点击“import”,执行导入,效果如下
    在这里插入图片描述

配置grafana-mysqld_exporter仪表版

  • 导入Prometheus仪表版,Dashboards–Manage–import。方式同上

  • 在 Granfana.com-Dashboard中填写7362,点击load即可。(https://grafana.com/dashboards 中可以直接搜索MySQL Overview,copy ID to Clipboard,grafana官网提供了大量的仪表板模板可以使用)。方式同上

  • 修改仪表版名称和选择“prometheus”为Prometheus即可(如果这里提示没有数据库,就是前面的data sources没有添加好需要重新检查)

    在这里插入图片描述
    在这里插入图片描述

  • 进入仪表板就可以在仪表版看到相应的监控
    在这里插入图片描述

配置grafana-redis_exporter仪表版

  • 导入Prometheus仪表版,Dashboards–Manage–import

  • 在 Granfana.com-Dashboard中填写2751,点击load即可。(https://grafana.com/dashboards 中可以直接搜索Prometheus Redis,copy ID to Clipboard,grafana官网提供了大量的仪表板模板可以使用)

  • 修改仪表版名称和选择“prom”为Prometheus即可(如果这里提示没有数据库,就是前面的data sources没有添加好需要重新检查)
    在这里插入图片描述
    在这里插入图片描述

  • 进入仪表板就可以在仪表版看到相应的监控(redis无密码)
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191220212142264.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RtdDc0MjA1NTU5Nw==,size_16,color_FFFFFF,t_70

安装Altermanager(Altermanager监控告警)

第一种:使用grafana自带的报警功能

  • 配置钉钉报警通知
    1. 配置钉钉机器人
      打开要通知的钉钉群->群设置->点击“智能群助手”
      在这里插入图片描述
      点击“添加机器人”
      在这里插入图片描述
      选择自定义:
      在这里插入图片描述
      点击“添加”按钮,输入机器人名称,选择安全设置后点击“完成”
      在这里插入图片描述
      注意,由于请求实现的原因,必须选择ip地址段,只有填写的IP地址请求才会被接受,否则后面的测试将不会收到消息,也就是说ip地址必须包含grafana安装的地址。
      在这里插入图片描述
    2. grafana添加报警通知设置
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      警报发送的是一个URL地址,这里需要注意一下,需要修改为自己的grafana地址。
    vim /etc/grafana/grafana.ini
    # 修改为自己grafana服务的访问地址
    domain = 39.98.134.170
    root_url = http://ip:3000
    
    修改完成后,保存并退出,然后重启grafana服务:
    systemctl daemon-reload
    systemctl restart grafana-server
    
    如果钉钉收不到报警消息,关闭发送图片开关试试。
    在这里插入图片描述
  • 配置邮件报警通知
    这里使用qq邮箱
    登录qq账户,点击“设置”、“账户”,开启服务,开启邮件服务后,qq邮件服务端口是465:
    在这里插入图片描述
    同时,点击“生成授权码”,根据提示发送短信并在该页面获取授权码,复制下来以备使用:
    在这里插入图片描述
    修改grafana邮箱配置
    vim /usr/share/grafana/conf/grafana.ini
    
    在这里插入图片描述
    修改完成后,保存并退出,然后重启grafana服务:
    systemctl daemon-reload
    systemctl restart grafana-server
    

去grafana添加邮件报警
在这里插入图片描述
添加完成后,点击“send test”,就会接收到报警测试邮件:
在这里插入图片描述

  • 配置企业微信报警通知
    公司没有使用企业微信,这里暂留,以后用到再完善。

第二种:使用alertmanager软件报警通知
后期添加

参考资料:
https://blog.csdn.net/baidu_36943075/article/details/91829364
https://blog.csdn.net/yaodunlin/article/details/89159500
https://blog.csdn.net/xiegh2014/article/details/84936174

  • 7
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
要在CentOS 7上安装PrometheusGrafana,可以按照以下步骤进行操作: 1. 首先,下载Prometheus的压缩包。你可以在Prometheus的官方网站上选择一个适合你的安装包版本。使用wget命令下载压缩包: ``` wget http://github.com/prometheus/prometheus/releases/download/v2.44.0/prometheus-2.44.0.linux-amd64.tar.gz ``` 2. 解压下载的压缩包: ``` tar -zvxf prometheus-2.44.0.linux-amd64.tar.gz ``` 3. 进入解压后的Prometheus文件夹: ``` cd prometheus-2.44.0.linux-amd64 ``` 4. 创建一个用于存储Prometheus数据的文件夹: ``` mkdir /usr/local/prometheus/data ``` 5. 创建一个用于运行Prometheus的系统用户: ``` useradd -s /sbin/nologin prometheus ``` 6. 将Prometheus文件夹移动到/usr/local目录下,并设置正确的所有者: ``` mv prometheus-2.44.0.linux-amd64 /usr/local/prometheus chown -R prometheus:prometheus /usr/local/prometheus/ ``` 7. 配置Prometheus的启动脚本。使用vim编辑器打开prometheus.service文件: ``` vim /usr/lib/systemd/system/prometheus.service ``` 8. 在文件中添加以下内容: ``` [Unit] Description=prometheus After=network.target <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [CentOS7安装Prometheus+Grafana](https://blog.csdn.net/weixin_58131623/article/details/129612643)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Centos7匹配Locust+prometheus+grafana性能监控平台](https://blog.csdn.net/vikesgao/article/details/130965336)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 14
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值