prometheus relabel_config 详解加示例

最新推荐文章于 2025-04-28 15:44:32 发布
最新推荐文章于 2025-04-28 15:44:32 发布
阅读量1.7w 收藏 35
点赞数 12
分类专栏： prometheus监控系统 文章标签： prometheus relabel_config 操作标签
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangkiller/article/details/105758857
版权

relabel_config配置

Relabeling(重定义标签),是在拉取(scraping)阶段前,修改target和它的labels;
在每个scrape_configs可以定义多个重定义标签的步骤;

默认的, target的job标签设置为配置文件里的job_name的值;
__address__设置为配置里的targets的值;
而instance标签的值,是重定义标签操作之后__address__的值
__scheme__和__metrics_path__标签的值,也是从配置里取值的;
__param_<name>标签的值,是传给URL的查询参数<name>的值;

以__meta_开头的标签,也可以用于重定义标签;

重定义标签完成后,__开头的标签会被删除;

重定义标签阶段,如果要临时存储值用于下一阶段的处理,使用__tmp开头的标签名,这种标签不会被Prometheus使用;

# 从已有的标签选择值的源标签组;多个标签,使用separator分隔;
# regex匹配源标签里的值
# 动作为replace, keep, 和 drop
[ source_labels: '[' <labelname> [, ...] ']' ]
# 多个源标签的分隔符;
[ separator: <string> | default = ; ]
# replace动作必需,regex匹配到的值,要替换的目标标签;
[ target_label: <labelname> ]
# 正则匹配源标签的值
[ regex: <regex> | default = (.*) ]
# 源标签值取hash的模块;
[ modulus: <uint64> ]
# 要替换的匹配分组号
[ replacement: <string> | default = $1 ]
# 基于正则匹配的动作
[ action: <relabel_action> | default = replace ]

正则匹配是到结尾的, 可以使用.*<regex>.*匹配更多内容

relabel_action

replace: 正则匹配源标签的值用来替换目标标签;如果有replacement,使用replacement替换目标标签;
keep: 如果正则没有匹配到源标签,删除targets 
drop: 正则匹配到源标签,删除targets
hashmod: 设置目标标签值为源标签值的hash值
labelmap: 正则匹配所有标签名; 将匹配的标签的值复制到由replacement提供的标签名
labeldrop: 正则匹配所有标签名;匹配则移除标签;
labelkeep: 正则匹配所有标签名;不匹配的标签会被移除;

示例环境

使用默认的prometheus target和监控指标

默认配置文件

cat prometheus.yml
------
global:
  scrape_interval:     15s
  evaluation_interval: 15s
alerting:
  alertmanagers:
  - static_configs:
    - targets:
rule_files:
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
======

查看target

curl 'http://localhost:9090/api/v1/targets?state=active'
------
{
	"status": "success",
	"data": {
		"activeTargets": [{
			"discoveredLabels": { // 这块只能作为源标签
				"__address__": "localhost:9090",
				"__metrics_path__": "/metrics",
				"__scheme__": "http",
				"job": "prometheus"
			},
			"labels": {
				"instance": "localhost:9090",
				"job": "prometheus"
			},
			"scrapePool": "prometheus",
			"scrapeUrl": "http://localhost:9090/metrics",
			"lastError": "",
			"lastScrape": "2020-04-25T08:42:19.254191755-04:00",
			"lastScrapeDuration": 0.012091634,
			"health": "up"
		}],
		"droppedTargets": []
	}
}
======

relabel_config主要是处理target的labels字段

重载配置命令

# 检查配置
./promtool check config prometheus.yml
# 重载配置;需要以--web.enable-lifecycle启动promethues
curl -X POST http://localhost:9090/-/reload
# 查看使用的配置 
curl http://localhost:9090/api/v1/status/config

添加自定义标签

添加2个自定义标签,用于后续的演示

vi prometheus.yml
------
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
        labels: 
          userLabel1: value1
          userLabel2: value2
======

重载配置后查询

curl 'http://localhost:9090/api/v1/targets?state=active'
------
{
	"status": "success",
	"data": {
		"activeTargets": [{
			"discoveredLabels": {
				"__address__": "localhost:9090",
				"__metrics_path__": "/metrics",
				"__scheme__": "http",
				"job": "prometheus",
				"userLabel1": "value1", //新增
				"userLabel2": "value2"  //新增
			},
			"labels": {
				"instance": "localhost:9090",
				"job": "prometheus",
				"userLabel1": "value1",  //新增
				"userLabel2": "value2"  //新增
			},
            ...
		}],
		"droppedTargets": []
	}
}

替换标签的值

用源标签的值,替换目标标签的值

vi prometheus.yml
------
scrape_configs:
    ...
    relabel_configs:
    - source_labels: [userLabel1] 
      target_label:  userLabel2
      #默认action 是 'replace'
======

重载配置后查询

curl 'http://localhost:9090/api/v1/targets?state=active'
------
			"discoveredLabels": {
				"__address__": "localhost:9090",
				"__metrics_path__": "/metrics",
				"__scheme__": "http",
				"job": "prometheus",
				"userLabel1": "value1", //不变
				"userLabel2": "value2"  //不变
			},
			"labels": {
				"instance": "localhost:9090",
				"job": "prometheus",
				"userLabel1": "value1",
				"userLabel2": "value1"  //用userLabel1的值替换了userLabel2
			},
======

relabel_configs是在拉取(scraping)前,修改target和它的labels

用userLabel1的部分值替换userLabel2

vi prometheus.yml
------
scrape_configs:
    ...
    relabel_configs:
    - source_labels: [userLabel1]
      regex: 'value([0-9]+)'
      target_label:  userLabel2
      replacement: '$1'
      action: replace
======

重载配置后查询

curl 'http://localhost:9090/api/v1/targets?state=active'
------
			"labels": {
				"instance": "localhost:9090",
				"job": "prometheus",
				"userLabel1": "value1",
				"userLabel2": "1"
			},
======

删除匹配的标签

vi prometheus.yml
------
scrape_configs:
    ...
    relabel_configs:
    - regex: userLabel1
      action: labeldrop
======

重载配置后查询

curl 'http://localhost:9090/api/v1/targets?state=active'
------
{
	"status": "success",
	"data": {
		"activeTargets": [{
			"discoveredLabels": { //这部分只能做为源标签
				"__address__": "localhost:9090",
				"__metrics_path__": "/metrics",
				"__scheme__": "http",
				"job": "prometheus",
				"userLabel1": "value1",
				"userLabel2": "value2"
			},
			"labels": {
				"instance": "localhost:9090",
				"job": "prometheus",
				"userLabel2": "value2" //删除了userLabel1
			},
            ...
	}
}
======

删除匹配的target

vi prometheus.yml
------
scrape_configs:
    ...
    relabel_configs:
    - source_labels: [userLabel1] 
      action: drop
======

重载配置后查询

curl 'http://localhost:9090/api/v1/targets?state=active'
------
{
	"status": "success",
	"data": {
		"activeTargets": [],
		"droppedTargets": []
	}
}
======

取匹配的标签名的一部分生成新标签

vi prometheus.yml
------
scrape_configs:
    ...
    relabel_configs:
    - regex: user(.*)1
      action: labelmap
======

重载配置后查询

curl 'http://localhost:9090/api/v1/targets?state=active'
------
			"labels": {
				"Label": "value1", //新生成的标签
				"instance": "localhost:9090",
				"job": "prometheus",
				"userLabel1": "value1",
				"userLabel2": "value2"
			},
======

参考链接
官方配置示例
官方文档

docker--Prometheus、Grafana、node_exporter的安装配置及Springboot集成Prometheus示例
penriver的博客
12-21 1441
Prometheus一个系统和服务监控系统。它以给定的时间间隔从配置的目标收集指标，计算规则表达式，显示结果，并在观察到某些条件为真时触发警报。 可观察性侧重于根据系统产生的数据了解系统的内部状态，这有助于确定基础设施是否健康。Prometheus是用于监视和观察系统的核心技术 本文针对Prometheus、Grafana、node_exporter的安装配置进行讲解并提供Springboot集成Prometheus示例
prometheus relabel_configs配置介绍及使用（四）
江晓龙的博客
02-03 2067
relabel_configs配置介绍及使用 1.relabel_configs重新标签 1.1.重新标签的意义 重新标签就是重新定义一个标签 relabel_configs：这个配置项允许在采集之前对任何目标及标签进行修改 重新标签的意义：重命名原来的标签、删除标签、过滤目标，可以针对标签的某个值进行过滤 在查询一个监控指标时，prometheus会把只要包含这个监控指标的所有监控数据都列出来，这样看起来也是很麻烦，不过我们可以在查询时指定一个标签，这样就可以定位到指定的主机上 relabel_confi
Prometheus Relabel机制（relabel_config）
lovely_nn的博客
02-21 6420
Relabel概述 relabel顾名思义，就是标签重写，可以允许用户重写标签或者针对标签做一些过滤操作，Prometheus中的relabel有如下三种，应用范围和工作时段不一样，这里主要介绍relabel_config: relabel_config在被prometheus抓取之前修改，针对的是target metric_relabel_configs在被prometheus存储之前修改，针对的是Metric alert_relabel_configs在被发送到alertmanager之前，针
prometheus relabel_configs配置介绍及使用
11
02-28 2646
source_labels: '[' [, ...] ']' ] //定义源标签，指定源标签是谁，多个原标签用逗号隔开] //源标签的值，多个值用分号隔开[ target_label: ] //重新标记后的标签名，也就是要把标签重命名成什么[ regex: | default = (.*) ] //匹配源标签的值，可以采用正则表达式。
Prometheus搭建和使用
最新发布
weixin_66308200的博客
04-28 655
将Prometheus配置为系统服务。
Prometheus(九)重新标记 relabel_config
qq_22648091的博客
12-20 1624
上面的意思是把 server_addr 标签的内容赋值给 Prometheus 内置标签。这里的场景是 192.168.0.39:9115 为黑盒监控的监听地址。实际会映射到 Prometheus 的配置文件中为如下内容。上面的意思是把匹配到的分组内容 $1 分配给新的标签。上面的意思是使用 regex 指定的正则表达式。之后把分组 $1 的内容赋值给新的标签。赋值给Prometheus 内置的标签。是targets 中的值，比如。的值进行匹配，并且进行了分组。上面的意思是 把内置标签。
Prometheus Configuration -- relabel_configs
oneslide
12-18 570
prometheus是多维数据，维度即label，数据及label的值。 比如： { instance="localhost:9000",app="sample",job="sample" } 就是一个三维数据，label分别为instance,app,job. 每个label都有自己的值。 relabel_configs 用于指定label和label值的处理规则，还可以基于label和label值过滤target。参考relabel_configs target代表prometheus获取metri
prometheus的relabel_configs的理解
热门推荐
wtan825的专栏
06-25 2万+
默认情况下，当Prometheus加载Target实例完成后，这些Target时候都会包含一些默认的标签： 上面这些标签将会告诉Prometheus如何从该Target实例中获取监控数据。一般来说，Target以__作为前置的标签是在系统内部使用的，因此这些标签不会被写入到样本数据中。不过这里有一些例外，例如，我们会发现所有通过Prometheus采集的样本数据中都会包含一个名为instanc...
Prometheus 专栏 —— Prometheus安装、配置
dsd的博客
12-31 1270
alerting: 非必须，配置与告警相关的设置，可以指定多个 Alertmanager 实例 alert_relabel_configs: 用于在发送告警之前重新标记告警的标签 alertmanagers: 定义Prometheus将告警发送给哪些Alertmanager实例 scrape_configs: 定义了Prometheus如何抓取目标的数据，每个 scrape_config 块代表一组抓取目标及其相关的配置 metrics_path: 目标抓取数据时使用的路径，一般默认路径为
prometheus配置文件详解
weixin_46546303的博客
08-22 1736
Prometheus 是一个开源的系统监控和报警工具。它的配置文件通常是一个YAML文件，默认路径为。下面是 Prometheus 配置文件的详细解释，包括常见配置项及其含义。
prometheus.yaml
lihongbao80的专栏
04-17 1987
rule_files指定prometheus加载的任何规则的位置，从所有匹配的文件中读取规则和告警。remote_read/remote_write将数据源与prometheus分离，当前不做配置。global指定在所有其他配置上下文中有效的参数。还可用作其他配置部分的默认设置。远程读写配置 remote_read、remote_write。alerting指定与Alertmanager相关的设置。拉取配置 scrape_configs。规则文件配置 rule_files。
Prometheus 架构全面解析
一览无遗
01-23 3048
每个组织的要求都不同，Prometheus 在不同环境中的实现也各不相同，例如 VM 和 Kubernetes。此外，当您将 prometheus 作为数据源添加到 Grafana 时，您可以使用 PromQL 查询和创建 Grafana 仪表板，如下所示。因此，Prometheus 使用。本文解释了 Prometheus 架构的主要组件，并将提供 Prometheus 配置的基本概述，您可以使用该配置执行更多操作。库是软件库，可用于检测应用程序代码，以 Prometheus 理解的方式公开指标。
prometheus relabel_config 详解之保留__meta等内部标签
manwufeilong的博客
08-09 1095
常见的场景使用中，如prometheus采集node_exporter的数据，在Targets中，可以看到 “job="xxxx"”等标签，以及以__meta开头的元组标签，有些标签可能需要重写标签，有些需要保留，如__meta是prometheus系统内部使用，无法被promql查询时使用的，这个时候就需要对__meta的标签进行重写保留。以双下划线__开头的标签属于特殊的标签，如__meta_开头的标签，它们在重新标记后会被删除。复制保留regex匹配source_label的值，并生成一个新标签。..
关于prometheus配置文件-----relabel_config
ShanQuanQiang的专栏
01-30 1万+
来聊一聊promtheus配置文件的 relabel_config 官方地址：" target="_blank">relabel_config 稍微解释下作用（因为看到公司里最开始的用法有点多余，所以好好的研究了一下），relabel_config的作用就是将时间序列中label的值做一个替换，具体的替换规则有配置决定，默认 job 的值是job_name，__address__的
prometheus relabel_configs 实现自定义标签及分类
爱死亡机器人
01-28 4140
配relabel_configs 的功能， Prometheus 允许用户在采集任务设置中，通过 relabel_configs 来添加自定义的 Relabeling 的额过程，来对标签进行指定规则的重写。 Prometheus 加载 Targets 后，这些 Targets 会自动包含一些默认的标签，Target 以 __ 作为前置的标签是在系统内部使用的，这些标签不会被写入到样本数据中。眼尖的会发现，每次增加 Target 时会自动增加一个 instance 标签，而 instance 标签的内容刚好对
Prometheus job实例和relabel配置
weixin_58131623的博客
03-20 1369
Prometheus job实例和relabel配置
prometheus配置文件relabel_config浅析
小猪佩奇工作室
07-12 1908
关于prometheus配置文件relabel_config，先贴个官网链接 官网链接 example relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_la...
prometheus中relabel_config的用法
支棱起来
11-17 1270
样例1： - action: labelmap # 匹配下面正则表达式的标签会被保留 regex: __meta_kubernetes_node_label_(.+) - target_label: __address__ # 直接替换 将 __address__ 替换成 192.168.88.10 replacement: 192.168.88.10 # sou...
Kubernetes监控体系（7）-prometheus重写标签（relabeling）relabel_configs
会哭的雨@的博客
06-11 2073
Prometheus的relabel_configs： promethues的relabeling（重新修改标签）功能很强大，它能够在抓取到目标实例之前把目标实例的元数据标签动态重新修改，动态添加或者覆盖标签 prometheus加载target成功之后，在Target实例中，都包含一些Metadata标签信息，默认的标签有： __address__：以<host>:<port> 格式显示目标targets的地址 __scheme__：采集的目标服务地址的Scheme形式，HTTP或
prometheus 配置推送数据到thanos的receive，prometheus的配置文件如何写
03-09
<think>嗯，用户问的是如何配置Prometheus把数据推送到Thanos的Receive组件。首先，我需要回忆一下Prometheus和Thanos的集成方式。Thanos Receive是通过Prometheus的remote write功能来接收数据的，所以关键点在于正确配置Prometheus的remote_write部分。 首先，用户可能需要知道Prometheus的配置文件结构，特别是remote_write的配置项。我需要确认remote_write的URL应该是Thanos Receive的端点，比如http://thanos-receive:10908/api/v1/receive。然后，考虑是否需要启用HTTP服务发现，比如在Kubernetes环境中，可能要用到http_sd_configs来自动发现服务。 接下来，可能需要配置一些参数，比如remote_timeout，通常是30秒或者更久，确保数据能成功发送。还有是否需要添加标签，比如tenant_id，这时候可能需要写标签重写规则，使用action: replace或者hashmod之类的动作。 然后，关于身份验证，如果Thanos Receive需要认证，比如Basic Auth或者Bearer Token，这部分也需要在remote_write中配置。例如，basic_auth部分包含username和password，或者authorization的credentials。 另外，用户可能关心如何验证配置是否正确，可能需要指导他们检查Prometheus的日志，或者用curl测试Thanos Receive的连通性。还有，Thanos Receive的配置是否正确，比如端口是否开放，服务是否正常运行。 还有一点是，是否需要配置TLS，如果Thanos Receive启用了HTTPS，Prometheus的remote_write需要配置tls_config，比如insecure_skip_verify设为true，或者指定CA证书。 可能还需要提醒用户，配置完成后要重启Prometheus服务，或者发送SIGHUP信号让配置生效。另外，监控remote write的状态指标，比如prometheus_remote_storage_samples_total，可以帮助确认数据是否正常推送。 总结一下，步骤应该是：配置remote_write指向Thanos Receive的URL，处理可能的认证，设置必要的标签重写，检查网络连通性，配置TLS如果需要，然后验证配置是否正确应用，数据是否正常传输。可能需要给出一个完整的配置示例，涵盖这些方面，让用户可以直接参考修改自己的prometheus.yml文件。</think>以下是配置Prometheus通过Remote Write将数据推送至Thanos Receive的步骤详解： --- ### 一、核心配置框架 在Prometheus的`prometheus.yml`中添加`remote_write`模块，基础配置模板如下： ```yaml remote_write: - url: "http://<thanos-receive-service>:<port>/api/v1/receive" # Thanos Receive服务地址 name: thanos-receive # 写入目标名称（可自定义） remote_timeout: 30s # 超时时间 queue_config: max_samples_per_send: 5000 # 单次发送样本数 capacity: 10000 # 队列容量 max_shards: 200 # 最大并发分片数 ``` --- ### 二、关键参数说明 #### 1. 网络配置 - **必须参数**：确认Thanos Receive的地址和端口，例如： ```yaml url: "http://thanos-receive:10908/api/v1/receive" ``` #### 2. 标签重写（可选） 若需添加租户标识等元数据： ```yaml write_relabel_configs: - source_labels: [__tenant_id__] target_label: tenant_id action: replace ``` #### 3. 身份认证配置 - **Basic Auth**示例： ```yaml basic_auth: username: <your_username> password: <your_password> ``` - **Bearer Token**示例： ```yaml authorization: credentials: "Bearer <your_token>" ``` #### 4. TLS加密配置 ```yaml tls_config: insecure_skip_verify: true # 跳过证书验证（生产环境慎用） # ca_file: /path/to/ca.crt # 正式CA证书路径 ``` --- ### 三、完整配置示例 ```yaml global: scrape_interval: 15s remote_write: - url: "http://thanos-receive:10908/api/v1/receive" name: thanos-stream remote_timeout: 30s queue_config: max_samples_per_send: 5000 capacity: 10000 max_shards: 200 write_relabel_configs: - source_labels: [__tenant_id__] target_label: tenant_id action: replace tls_config: insecure_skip_verify: true scrape_configs: - job_name: "node-exporter" static_configs: - targets: ["node-exporter:9100"] ``` --- ### 四、验证步骤 1. **配置检查**： ```bash promtool check config prometheus.yml ``` 2. **服务重启**： ```bash systemctl restart prometheus # 或发送HUP信号 kill -HUP $(pgrep prometheus) ``` 3. **日志验证**： ```bash journalctl -u prometheus -f | grep "remote write" ``` 4. **指标检查**： 访问`http://prometheus:9090/metrics`，验证以下指标： - `prometheus_remote_storage_samples_total` - `prometheus_remote_storage_failed_samples_total` --- ### 五、排错指南 1. **网络连通性测试**： ```bash curl -v http://thanos-receive:10908/-/healthy ``` 2. **Thanos Receive状态检查**： ```bash thanos receive inspect --endpoint=thanos-receive:10908 ``` 3. **抓包分析**： ```bash tcpdump -i any port 10908 -w thanos_traffic.pcap ``` --- 通过以上配置，Prometheus将通过Remote Write协议将采集数据实时推送至Thanos Receive组件，实现数据的长期存储和分布式架构支持。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值