Prometheus联邦

介绍

官方文档：https://prometheus.io/docs/prometheus/latest/federation

联邦允许Prometheus实例从另一个Prometheus实例上抓取数据。

联邦有不同的使用场景。通常，它用于实现可伸缩的Prometheus监控，或将一个服务相关指标从一个Prometheus拉取到另一个中

为了扩展单个Prometheus的采集能力和存储能力，Prometheus引入了联邦概念。多个Prometheus节点组成两级联邦结构，上面一层是联邦节点，负责定时从下面的节点获取数据并汇总，下面的Promethes可以负责不同区域/不同服务的数据采集。其架构图如下所示：

联邦部署

环境信息：

192.168.122.21 Prometheus联邦节点
192.168.122.22 Prometheus节点1
192.168.122.23 Prometheus节点2
192.168.122.12 node-exporter
192.168.122.13 node-exporter

在所有Prometheus节点上部署和运行Prometheus-Server

wget https://github.com/prometheus/prometheus/releases/download/v2.37.5/prometheus-2.37.5.linux-amd64.tar.gz
tar xvf prometheus-2.37.5.linux-amd64.tar.gz -C /usr/local
ln -s /usr/local/prometheus-2.37.5.linux-amd64 /usr/local/prometheus


cat > /lib/systemd/system/prometheus-server.service << EOF
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network.target

[Service]
Restart=on-failure
WorkingDirectory=/usr/local/prometheus/
#--web.enable-lifecycle表示启用配置热加载功能
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --web.enable-lifecycle --storage.tsdb.retention=72h

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl start prometheus-server.service
systemctl status prometheus-server.service
systemctl enable prometheus-server.service

配置Prometheus节点1抓取192.168.122.12上node-exporter的数据

job配置如下：

  - job_name: node-122.12
    static_configs:
      - targets: ["192.168.122.12:9100"]
        labels:
          env: cluster1

配置Prometheus节点2抓取192.168.122.13上node-exporter的数据

job配置如下：

  - job_name: "node-122.13"
    static_configs:
      - targets: ["192.168.122.13:9100"]
        labels:
          env: cluster2

配置Prometheus联邦节点抓取另外两个Prometheus节点的数据

job配置如下：

  - job_name: 'prometheus-federate'
    scrape_interval: 10s
    metrics_path: /federate
    honor_labels: true
    params:
      'match[]':	#match[]用指定查询条件，即只从其他Prometheus抓取符合条件的数据
      - '{job="prometheus"}'	#job用于匹配指定名称的job，这里表示抓取prometheus job对应的指标数据
      - '{__name__=~"job:.*"}'	#__name__表示匹配指定名称的指标数据，这里表示抓取以job开头的指标数据
      - '{job=~"node.*"}'	#抓取以node开头的job的指标
    static_configs:
      - targets: ["192.168.122.22:9090", "192.168.122.23:9090"]	#指定Prometheus地址

验证数据

在Prometheus联邦节点查询node-exporter指标，如下图，可以看到它已经获取到了节点192.168.122.12和13的指标数据