【Prometheus】Prometheus联邦的一次优化记录

前言

现网环境下，我的Prometheus是使用了联邦特性的，这是因为监控的服务器存在于多个物理位置，同时服务器数量众多，综合考虑下才使用了联邦；不过因为当时服务器用的比较散，单台采集节点并不需要监控过多的服务器，大概也就在500台不到，因此性能问题一直都没出现，我也以为不会有什么坑。

这段时间，针对数据中台集群要进行统一的node-exporter的指标采集，集群规模大概是2600台，因为一些特殊原因，最终使用1台联邦节点和2台采集节点，前端获取数据直接对接联邦节点即可。

理想是美好的，现实往往是残酷的，我的每个采集端点是默认的拉取间隔，即scrape_interval是15s，scrape_timeout是10s，但是联邦节点每次拉取都要超过20s，甚至是30s，这样就直接导致了必然有一些指标是漏了的，针对这个问题，还是希望对其进行一些优化：

正文

重新规整labels

首先我的想法是，把在采集节点打的标签放到联邦节点进行统一打标，这样的话是不是可以优化每次拉取的时间？

于是，我先把cluster标签放到了联邦节点然后测试：

貌似有些效果，但是这明显是满足不了需求的。

无用指标筛选

查了很多资料，其实发现拉去时间第一个决定因素就是每次拉去的指标数量，我通过重新打标进行优化其实也算在一定程度上去减轻拉取的负担，但是毕竟没有真正减少指标数目；那么我不如尝试减少指标数量？

因此，尝试更改联邦节点的prometheus.yml配置文件：

scrape_configs:
  - job_name: 'federate'
    honor_labels: true
    metrics_path: '/federate'
    params:
        'match[]':
          - '{__name__=~"node_*"}' # 只采集node相关的指标

cool！这次直接缩短到20秒左右了，其实从我的角度来说已经很不错了。除了这个方法以外，还可以对采集的指标数据进行分离管理，比如使用不同的job进行区分；

具体的可以参考这篇外网文章链接: Federating Prometheus Effectively