第三阶段【监控篇】01：Prometheus监控Linux机器以及通过Grafana展示

一、Prometheus监控Linux机器思路

1、环境信息

在165机器安装Prometheus来监控之前部署了数据库的机器

192.168.201.165   Prometheus Grafana
192.168.201.161   MySQL  node_exporter
192.168.201.162   MySQL  node_exporter
192.168.201.163   MySQL  node_exporter

二、部署Prometheus

1、官网获取Prometheus下载地址

Prometheus官网地址：

https://prometheus.io/download/

如果下载慢的话，可下载网盘中的：

链接: https://pan.baidu.com/s/13hSjP0aT5ORc_R-yVCDszA?pwd=bhj9 
提取码: bhj9 

2、进行下载Prometheus

165节点进行下载

cd /usr/src/
wget https://github.com/prometheus/prometheus/releases/download/v3.3.0/prometheus-3.3.0.linux-amd64.tar.gz
tar zxvf prometheus-3.3.0.linux-amd64.tar.gz
mv prometheus-3.3.0.linux-amd64 /usr/local/prometheus

3、部署Prometheus

（1）配置Prometheus系统服务

vim /etc/systemd/system/prometheus.service

添加如下内容：

[Unit]
Description=Prometheus
After=network-online.target

[Service]
User=prometheus
Restart=on-failure
ExecStart=/usr/local/prometheus/prometheus --storage.tsdb.path=/usr/local/prometheus/data/ --config.file=/usr/local/prometheus/prometheus.yml

[Install]
WantedBy=multi-user.target

（2）创建数据目录

mkdir -p /usr/local/prometheus/data/

（3）修改属组

cd /usr/local/prometheus
useradd prometheus
chown -R prometheus.prometheus ./*

（4）启动Prometheus

systemctl start prometheus

（5）查看Prometheus进程

ps -ef|grep prometheus

三、部署node_exporter

1、官网获取node_exporter地址

官网地址：

https://prometheus.io/download/#node_exporter

2、进行下载下载node_exporter

在数据库节点，也就是161、162、163节点进行下载和部署node_exporter

cd /usr/src/
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.9.1.linux-amd64.tar.gz
tar zxvf node_exporter-1.9.1.linux-amd64.tar.gz -C /usr/local/
mv /usr/local/node_exporter-1.9.1.linux-amd64/ /usr/local/node_exporter

如果下载慢的话，可用网盘地址：

链接: https://pan.baidu.com/s/1oDWzuGen8grGvgbGRn83Qw?pwd=2fea 
提取码: 2fea 

3、部署node_exporter

（1）把node_exporter配置成系统服务

vim /etc/systemd/system/node_exporter.service

添加如下内容：

[Unit]
Description=Prometheus
After=network-online.target

[Service]
User=prometheus
Restart=on-failure
ExecStart=/usr/local/node_exporter/node_exporter

[Install]
WantedBy=multi-user.target

（2）启动node_exporter

useradd prometheus
systemctl start node_exporter

（3）查看进程

ps -ef | grep node

（4）页面查看监控到的信息

http://192.168.201.161:9100/metrics
http://192.168.201.162:9100/metrics
http://192.168.201.163:9100/metrics

四、修改Prometheus的配置文件

1、修改Prometheus的主配置文件

当前Prometheus安装在165上，在165执行

vim /usr/local/prometheus/prometheus.yml

添加如下内容：

  - job_name: 'Node'
    file_sd_configs:
      - files: ["/usr/local/prometheus/conf.d/node.json"]
        refresh_interval: 15s

2、增加机器配置文件

在部署了prometheus的机器执行，也就是165机器

mkdir /usr/local/prometheus/conf.d
vim /usr/local/prometheus/conf.d/node.json

添加如下内容：

[
  {
    "targets": [
      "192.168.201.161:9100"
    ],
    "labels": {
          "servicename": "Linux",
          "env": "Prod",
          "hostname": "node01"
    }
  },
  {
    "targets": [
      "192.168.201.162:9100"
    ],
    "labels": {
          "servicename": "Linux",
          "env": "Prod",
          "hostname": "node02"
    }
  },
  {
    "targets": [
      "192.168.201.163:9100"
    ],
    "labels": {
          "servicename": "Linux",
          "env": "Prod",
          "hostname": "node03"
    }
  }
]

3、检查配置文件

/usr/local/prometheus/promtool check config /usr/local/prometheus/prometheus.yml

4、重启prometheus

systemctl restart prometheus
systemctl status prometheus

五、页面查看监控情况

1、查看集群列表

http://192.168.201.165:9090/query

2、查看相关监控值

（1）up

查看机器是否启动

（2）node_disk_io_now

查看磁盘IO

通过Graph进行查看

3、常用PromQL查询

（1）查看某台机器的监控

up{hostname="node01"}

（2）磁盘剩余空间小于90

(node_filesystem_avail_bytes * 100) / node_filesystem_size_bytes < 30

六、部署Grafana

1、官网获取地址

https://grafana.com/grafana/download

2、进行下载安装

在165节点执行下载安装

cd /usr/src
sudo yum install -y https://dl.grafana.com/oss/release/grafana-11.6.0-1.x86_64.rpm

3、启动Grafana

systemctl start grafana-server.service

4、查看进程

ps -ef | grep grafana

5、登录Grafana页面

http://192.168.201.165:3000

默认的用户名和密码都是admin

七、配置dashboard

1、Grafana配置Prometheus数据源

填写Prometheus地址：

http://192.168.201.165:9090

点击Save&test

2、导入dashboard的模板

输入模板ID，这里输入11074，这个是node_exporter的模板ID

也可以自己去选择模板


点击load


选择数据源，然后点击Import

这样就可以看到这些监控数据了

设置全屏

3、查看Linux机器的监控数据

保存模板