prometheus联邦

联邦允许Prometheus实例从另一个Prometheus实例上抓取数据。

联邦有不同的使用场景。通常，它用于实现可伸缩的Prometheus监控，或将一个服务相关指标从一个Prometheus拉取到另一个中

为了扩展单个Prometheus的采集能力和存储能力，Prometheus引入了联邦概念。多个Prometheus节点组成两级联邦结构，上面一层是联邦节点，负责定时从下面的节点获取数据并汇总，下面的Promethes可以负责不同区域/不同服务的数据采集。其架构图如下所示：

环境
192.168.1.21 Prometheus联邦节点
192.168.1.22 Prometheus节点1
192.168.1.23 Prometheus节点2
192.168.1.29 node-exporter
192.168.1.30 node-exporter

1.安装prometheus

prometheus 安装脚本

root@k8s-etcd03:~# cat prometheus-install.sh 
#!/bin/bash
VERSION="2.37.8"
PKG="prometheus-${VERSION}.linux-amd64.tar.gz"
S_DIR="prometheus-${VERSION}.linux-amd64"
mkdir -p /apps
tar xvf ${PKG} -C /apps/
ln -sv /apps/${S_DIR} /apps/prometheus
\cp ./prometheus.service /etc/systemd/system/prometheus.service 
systemctl   daemon-reload &&  systemctl  restart prometheus && systemctl  enable  prometheus

2.配置prometheus

1.22上配置Prometheus节点1抓取192.168.1.29上node-exporter的数据

- job_name: node-1.29
    static_configs:
      - targets: ["192.168.1.29:9100"]
        labels:
          env: cluster1

1.23上配置Prometheus节点2抓取192.168.1.30上node-exporter的数据

- job_name: node-1.30
    static_configs:
      - targets: ["192.168.1.30:9100"]
        labels:
          env: cluster1

1.21 prometheus联邦添加配置

   - job_name: 'prometheus-federate'
    scrape_interval: 10s
    metrics_path: /federate
    honor_labels: true
    params:
      'match[]':        #match[]用指定查询条件，即只从其他Prometheus抓取符合条件的数据
      - '{job="prometheus"}'    #job用于匹配指定名称的job，这里表示抓取prometheus job对应的指标数据
      - '{__name__=~"job:.*"}'  #__name__表示匹配指定名称的指标数据，这里表示抓取以job开头的指标数据
      - '{job=~"node.*"}'       #抓取以node开头的job的指标
    static_configs:
      - targets: ["192.168.1.22:9090"]  #指定Prometheus地址

  - job_name: 'prometheus-federate23'
    scrape_interval: 10s
    metrics_path: /federate
    honor_labels: true
    params:
      'match[]':        #match[]用指定查询条件，即只从其他Prometheus抓取符合条件的数据
      - '{job="prometheus"}'    #job用于匹配指定名称的job，这里表示抓取prometheus job对应的指标数据
      - '{__name__=~"job:.*"}'  #__name__表示匹配指定名称的指标数据，这里表示抓取以job开头的指标数据
      - '{job=~"node.*"}'       #抓取以node开头的job的指标
    static_configs:
      - targets: ["192.168.1.23:9090"]  #指定Prometheus地址

查看联邦节点：

promethes导入模板 1107

后面要加服务器直接在 promethes 节点添加即可

k8s集群外prometheus联邦采集集群内的node节点和coredns

k8s中部署的prometheus，给prometheus配置svc，使用nodeport 访问k8s内部prometheus，

root@k8s-node01:~# kubectl get svc -n monitoring prometheus
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
prometheus NodePort 10.100.3.228 9090:30090/TCP 4d2h

通过node 的30090端口 ，添加配置到联邦节点
prometheu联邦添加k8s中prometheus配置

- job_name: 'k8s-data-federate'   #抓取k8s集群node
    scrape_interval: 10s
    metrics_path: /federate
    honor_labels: true
    params:
      'match[]':        #match[]用指定查询条件，即只从其他Prometheus抓取符合条件的数据
      - '{job="prometheus"}'    #job用于匹配指定名称的job，这里表示抓取prometheus job对应的指标数据
      - '{__name__=~"job:.*"}'  #__name__表示匹配指定名称的指标数据，这里表示抓取以job开头的指标数据
      - '{__name__=~"node.*"}'       #抓取以node开头的job的指标
    static_configs:
      - targets: ["192.168.1.27:30090"] #指定Prometheus地址

  - job_name: 'k8s-data-federate-coredns'  抓取k8s集群coredns
    scrape_interval: 10s
    metrics_path: /federate
    honor_labels: true
    params:
      'match[]':        #match[]用指定查询条件，即只从其他Prometheus抓取符合条件的数据
      - '{job="kubernetes-service-endpoints"}'  #job用于匹配指定名称的job，这里表示抓取prometheus job对应的指标数据
      - '{__name__=~"job:.*"}'  #__name__表示匹配指定名称的指标数据，这里表示抓取以job开头的指标数据
      - '{job=~"node.*"}'       #抓取以node开头的job的指标
    static_configs:
      - targets: ["192.168.1.27:30090"] #指定Prometheus地址

点击出现数据就抓取到了

在这里插入代码片
coredns