Grafana+Prometheus+Node_exporter巡检Linux服务器监控状况

简介

这里介绍使用prometheus+grafana+node_exporter实现linux系统的监控。
下面针对这三个组件进行具体的说明

prometheus

prometheus是一套开源的监控与报警与时间序列数据库的组合。

grafana

grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。

node_exporter

node_exporter是采集器，负责将采集的数据存储到prometheus数据库，然后grafana取promethues数据库的数据进行展示。

部署granfna

访问官网 https://grafana.com/

Win安装

解压并双击

Linux安装

命令行安装

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.4.1-1.x86_64.rpm
sudo yum install grafana-enterprise-8.4.1-1.x86_64.rpm

启动并查看端口

//启动
systemctl start grafana-server
//查看端口
netstat -lntp|grep grafana

访问

访问http://localhost:3000/
默认账号密码 admin/admnin

命令参考

systemctl 提供了一组子命令来管理单个的 unit，其命令格式为：
systemctl [command] [unit]
command 主要有：
start：立刻启动后面接的 unit。
stop：立刻关闭后面接的 unit。
restart：立刻关闭后启动后面接的 unit，亦即执行 stop 再 start 的意思。
reload：不关闭 unit 的情况下，重新载入配置文件，让设置生效。
enable：设置下次开机时，后面接的 unit 会被启动。
disable：设置下次开机时，后面接的 unit 不会被启动。
status：目前后面接的这个 unit 的状态，会列出有没有正在执行、开机时是否启动等信息。
is-active：目前有没有正在运行中。
is-enable：开机时有没有默认要启用这个 unit。
kill ：不要被 kill 这个名字吓着了，它其实是向运行 unit 的进程发送信号。
show：列出 unit 的配置。
mask：注销 unit，注销后你就无法启动这个 unit 了。
unmask：取消对 unit 的注销。

部署prometheus

下载安装包

访问https://prometheus.io/download/直接下载安装包或者 使用命令行进行下载

wget https://github.com/prometheus/prometheus/releases/download/v2.4.3/prometheus-2.4.3.linux-amd64.tar.gz

使用命令

tar -xvf prometheus-2.33.3.linux-amd64.tar.gz

创建文件夹

解压prometheus-2.33.3.linux-amd64.tar.gz并复制到/usr/local/bin/下
分别创建 /ect/prometheus 和 /var/lib/prometheus文件夹

配置prometheus.service

vi /usr/lib/systemd/system/prometheus.service

写入以下内容

[Unit]
Description=Prometheus: the monitoring system
Documentation=http://prometheus.io/docs/

[Service]
ExecStart=/usr/local/bin/prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/var/lib/prometheus
Restart=always
StartLimitInterval=0
RestartSec=10

[Install]
WantedBy=multi-user.target

复制配置文件至 /etc/prometheus目录

cp -p /root/prometheus-2.33.3.linux-amd64/prometheus.yml /etc/prometheus

加载并启动服务

systemctl daemon-reload && systemctl restart prometheus
systemctl status prometheus

安装node_exporter

下载安装包

访问 https://github.com/prometheus/node_exporter/releases 直接下载安装包或者 使用命令行进行下载

 wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz

配置

解压node_exporter-1.3.1.linux-amd64.tar.gz并复制到/usr/local/bin
编辑配置文件

vi /etc/systemd/system/node_exporter.service

把以下内容并写入node_exporter.service

[Unit]
Description=node_exporter
Documentation=https://prometheus.io/
After=network.target
[Service]
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure
[Install]
WantedBy=multi-user.target

加载服务并启动以及查看状态

systemctl daemon-reload && systemctl restart node_exporter && systemctl enable node_exporter

配置prometheus.yml并启动

访问：http://xxxx:9090

登录grafana

配置数据源

设置要读取的服务

只写入url其他默认

导入仪表盘

点击import进入主界面

点击右上角进行保存

导入mysql数据监控

过程类似，只需在需要监控的mysql服务器上导入数据然后再grafana添加mysql数据源以及导入模板即可
仅供参考

导入仪表盘

访问 https://grafana.com/grafana/dashboards/7991

注意：需要先在需要监控的数据库中执行sql

查看grafana运行log

tail -f /var/log/messages

配置邮件发送

服务端邮箱配置

配置/usr/share/grafana/conf/defaults.ini

host是邮件服务器地址 如：smtp.126.com
以腾讯邮箱为例：
password 是授权码 不是密码
授权码获取：https://service.mail.qq.com/cgi-bin/help?subtype=1&&no=1001256&&id=28

开启邮箱验证

重启服务

平台邮箱配置

只有图表才有alter功能
选择需要预警的图表

这里我用来监控总平均使用率来发送告警邮件，发送告警邮件的模块不能有变量，所以需要新建一个模块（这里是B）替换变量的值然后进行告警设置。
变量的值获取方式如下：

配置后保存返回主界面并设置Alter Channel

设置发送邮件的信息，多个邮件用英文逗号(,)隔开

图中复选框分别代表 发送邮件时包含图片、持续发送邮件

点击保存。
再次编辑图表进入配置界面点击Alter按钮

Rule
1m 代表1分钟 5m代表5分钟
Conditions
avg()代表平均值
query(B,5m,now) ：5分钟之前到当前B模块的平均值高于90就会触发报警

设置完成后可以把监控的数据隐藏掉

设置合适的值过几分就可以收到邮件
这里邮件里图不能正常展示是因为没有安装grafana图片渲染器grafana-image-renderer的问题导致

安装图片渲染器grafana-image-renderer

安装目录：/var/lib/grafana/plugins/grafana-image-renderer
访问 https://grafana.com/grafana/plugins/grafana-image-renderer/?tab=installation

推荐使用命令行安装

grafana-cli plugins install grafana-image-renderer

也可以自行下载安装包或者平台直接安装

注意 ：插件直接直接安装不需要配置rendering（参考https://github.com/grafana/grafana-image-renderer/issues/165）

如果作为独立的远程服务是需要设置的，这里不需要
最终效果如下

完事手工
感谢：https://www.cnblogs.com/yuhaohao/p/12989150.html