Prometheus之pushgateway

Pushgateway简介

Pushgateway是Prometheus监控系统中的一个重要组件，它采用被动push的方式获取数据，由应用主动将数据推送到pushgateway，然后Prometheus再从Pushgateway抓取数据。使用Pushgateway的主要原因是：

• Prometheus和target由于某些原因网络不能互通，需要经由Pushgateway代理
• 某些作业生命周期较短，没有足够的时间等待Prometheus抓取数据。所以可以先把数据推送到Pushgateway，再让Prometheus抓取

但是PushGateway也存在一些弊端：

• 通过单个 Pushgateway 监控多个实例时， Pushgateway 将会成为单点故障和潜在瓶颈
• Pushgateway 可以持久化推送给它的所有监控数据。
  因此，即使监控目标以下线，prometheus 还会拉取到旧的监控数据，需要手动清理 pushgateway 不要的数据。

部署Pushgateway

下载安装包

wget  https://github.com/prometheus/pushgateway/releases/download/v1.5.1/pushgateway-1.5.1.linux-amd64.tar.gz
tar xvf pushgateway-1.5.1.linux-amd64.tar.gz
pushgateway-1.5.1.linux-amd64/pushgateway /usr/bin/
pushgateway -h	#查看帮助

准备service文件

root@prometheus-server-01:~# cat /lib/systemd/system/pushgateway.service
[Unit]
Description=Prometheus Pushgateway
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=pushgateway --web.listen-address=:9091
Restart=on-failure

[Install]
WantedBy=multi-user.target

启动服务

systemctl daemon-reload
systemctl start pushgateway
systemctl status pushgateway
systemctl enable pushgateway

访问pushgateway界面

配置Prometheus抓取数据

在prometheus配置中添加job，抓取pushgateway数据，内容如下：

  - job_name: pushgateway
    honor_labels: true
    static_configs:
      - targets: ["192.168.122.21:9091"]

配置修改完成后重启Prometheus。然后在Prometheus界面查看target状态

测试

要推送数据到Pushgateway中，可以其提供的API接口来添加，默认URL地址为http://<ip>:9091/metrics/job/<job-name>/<label-name>/<label-value>
其中job-name是必填项，是job标签的值，后边可以跟任意数量的标签&标签值对，一般会添加一个instance/<instance-name>标签来区分指标数据来源

测试向Pushgateway推送单条数据

执行如下命令进行单条数据推送

#my_metric表示指标名称，2022表示指标值
echo "my_metric 2022"| curl --data-binary @- http://192.168.122.21:9091/metrics/job/test-job/instance/192.168.122.22
#再执行一次推送，将值改为2023
echo "my_metric 2023"| curl --data-binary @- http://192.168.122.21:9091/metrics/job/test-job/instance/192.168.122.22

在Pushgateway界面查看数据，如下图，可以看到只显示了最新值。

在Prometheus中查询my_metric，验证是否获取到数据

测试向Pushgateway推送多条数据

cat <<EOF | curl --data-binary @- http://192.168.122.21:9091/metrics/job/test-job/instance/192.168.122.22
#TYPE node_memory_total gauge
node_memory_total 10240000000
#TYPE node_memory_usage gauge
node_memory_usuge 1024000000
EOF

在Pushgateway界面查看数据

在Prometheus中查询，验证是否获取到数据

测试删除数据

curl -X DELETE  http://192.168.122.21:9091/metrics/job/test-job/instance/192.168.122.22

在Pushgateway界面验证