prometheus监控配置基于Consul的服务发现

最新推荐文章于 2024-06-23 19:38:51 发布
最新推荐文章于 2024-06-23 19:38:51 发布
阅读量1.2k 收藏 29
点赞数 19
文章标签： prometheus consul 服务发现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2302_78152953/article/details/135546968
版权

环境：

主机名             IP                     系统                                                 说明

ubunt-1    192.168.1.144      ubuntu20.0.4                      docker安装的Prometheus

docker      192.168.1.140      centos7            已完成MySQL mongodb 等基于配置文件的监控

说明：

Consul 是由 HashiCorp 开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，是一个通用的服务发现和注册中心工具，被大量应用于基于微服务的软件架构当中。

我们通过api将exporter服务注册到 Consul 然后配置 Prometheus 从Consul 中发现实例。

关于Consul 本身使用可以查看官方文档https://learn.hashicorp.com/consul了解更多。

1、安装配置Consul的两种方式（二选一即可）

注意：在Prometheus服务器端安装Consul

1、二进制安装配置Consul：

在页面https://www.consul.io/downloads下载符合自己系统的安装文件，比如我这里是Linux系统使用下面命令下载安装即可：

wget https://releases.hashicorp.com/consul/1.14.5/consul_1.14.5_linux_amd64.zip

yum -y install unzip

unzip consul_1.14.5_linux_amd64.zip

mv consul /usr/local/bin

consul version

启动consul

为了查看更多的日志信息，我们可以在dev模式下运行consul 如下所示：

consul agent -dev -client 0.0.0.0

启动命令后面使用的client 参数指定了客户端绑定的IP地址 默认为127.0.0.1

2、docker安装Consul

docker运行：

docker run -d --name consul -p 8500:8500 consul

检查：

docker ps

2、访问consul的http访问地址

访问你Prometheus服务器的IP加8500端口和/ui/dc1/services后缀

http://192.168.1.144:8500/ui/dc1/services

3、注册到consul的两种方式（二选一即可）

1、使用命令行注册

curl -X PUT -d '{"id": "node1","name": "node_exporter","address": "node_exporter","port": 9100,"tags": ["exporter"],"meta": {"job": "node_exporter","instance": "Prometheus服务器"},"checks": [{"http": "http://192.168.1.144:9100/metrics", "interval": "5s"}]}' http://localhost:8500/v1/agent/service/register

命令解释：

  • -X PUT：使用 PUT 方法发送请求。在这个命令中，PUT 方法用于注册服务到 Consul。
  • -d '{"id": "node1","name": "node_exporter","address": "node_exporter","port": 9100,"tags": ["exporter"],"meta": {"job": "node_exporter","instance": "Prometheus服务器"},"checks": [{"http": "http://192.168.1.144:9100/metrics", "interval": "5s"}]}'：指定要发送的数据体，即要注册的服务的信息。这里使用 JSON 格式进行定义。
  • "id": "node1"：服务的唯一标识符。
  • "name": "node_exporter"：服务的名称。
  • "address": "node_exporter"：服务的地址。
  • "port": 9100：服务的端口号。
  • "tags": ["exporter"]：服务的标签，可以是任意字符串数组。
  • "meta": {"job": "node_exporter","instance": "Prometheus服务器"}：附加的元数据信息，可以是任意键值对。
  • "checks": [{"http": "http://192.168.1.144:9100/metrics", "interval": "5s"}]：与服务相关的健康检查配置。这里定义了一个 HTTP 类型的检查，检查地址为 http://192.168.1.144:9100/metrics，每 5 秒执行一次。
  • http://localhost:8500/v1/agent/service/register：Consul Agent 的注册服务 API 端点。

2、将json数据放在文件中使用文件注册

把json数据放在文件中，使用这个json文件注册

mkdir /data/consul

cd /data/consul

vim node_exporter.json

{
  "id": "node2",
  "name": "node_exporter",
  "address": "192.168.1.140",
  "port": 9100,
  "tags": ["exporter"],
  "meta": {
    "job": "node_exporter",
    "instance": "test服务器"
  },
  "checks": [{
    "http": "http://192.168.1.140:9100/metrics",
    "interval": "10s"
  }]
}

使用json文件注册

curl --request PUT --data @node_exporter.json http://localhost:8500/v1/agent/service/register

4、注册完成后在consul页面刷新查看

可以看到多了一个node_exporter实例注册成功

5、配置Prometheus

上面我们通过consul注册了node_exporter服务，接下来我们将配置Prometheus通过consul来自动发现node_porter服务，在Prometheus的配置文件prometheus.yml文件中的scrape_configs 部分添加如下所示的抓取配置。

备份源文件：

cd /data/docker-prometheus

cp -a prometheus/prometheus.yml prometheus/prometheus.yml.bak

ls -l prometheus/prometheus.yml.bak

使用cat去掉之前的配置，使用下面的配置

cat > prometheus/prometheus.yml<<"EOF"

# 全局配置
global:
  scrape_interval: 15s  # 将搜刮间隔设置为每15秒一次。默认是每1分钟一次
  evaluation_interval: 15s  # 每15秒评估一次规则，默认是每1分钟一次

# Alertmanager 配置
alerting:
  alertmanagers:
  - static_configs:
    - targets: ['alertmanager:9093']

# 报警（触发器）配置
rule_files:
  - "alert.yml"
  - "rules/*.yml"

# 搜刮配置
scrape_configs:
  - job_name: 'prometheus'
    # 覆盖全局默认值，每15秒从该作业中刮取一次目标
    scrape_interval: 15s
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'alertmanager'
    # 覆盖全局默认值，每15秒从该作业中刮取一次目标
    scrape_interval: 15s
    static_configs:
      - targets: ['alertmanager:9093']

  - job_name: 'consul_exporter'
    consul_sd_configs:
      - server: '192.168.1.144:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

EOF

重新加载配置

curl -X POST http://localhost:9090/-/reload

6、访问Prometheus端的IP加9090端口选择Status在选择Targets查看

http://192.168.1.144:9090/

7、创建添加脚本（在Prometheus端操作）

添加一个脚本

mkdir /data/consul

cd /data/consul

vim api.sh

#nginx
curl -X PUT -d '{
  "id": "nginx1",
  "name": "nginx_exporter",
  "address": "192.168.1.139",
  "port": 9113,
  "tags": ["exporter"],
  "meta": {
    "job": "nginx_exporter",
    "instance": "harbor服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.139:9113/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register

#rabbitmq
curl -X PUT -d '{
  "id": "rabbitmq1",
  "name": "rabbitmq_exporter",
  "address": "192.168.1.139",
  "port": 9419,
  "tags": ["exporter"],
  "meta": {
    "job": "rabbitmq_exporter",
    "instance": "harbor服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.139:9419/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register
 

#redis
curl -X PUT -d '{
  "id": "redis1",
  "name": "redis_exporter",
  "address": "192.168.1.139",
  "port": 9121,
  "tags": ["exporter"],
  "meta": {
    "job": "redis_exporter",
    "instance": "harbor服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.139:9121/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register

#mongodb
curl -X PUT -d '{
  "id": "mongodb1",
  "name": "mongodb_exporter",
  "address": "192.168.1.140",
  "port": 9216,
  "tags": ["exporter"],
  "meta": {
    "job": "mongodb_exporter",
    "instance": "docker服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.140:9216/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register

#mysql
curl -X PUT -d '{
  "id": "mysql1",
  "name": "mysqld_exporter",
  "address": "192.168.1.140",
  "port": 9104,
  "tags": ["exporter"],
  "meta": {
    "job": "mysqld_exporter",
    "instance": "docker服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.140:9104/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register
 

#cadvisor
curl -X PUT -d '{
  "id": "cadvisor1",
  "name": "cadvisor",
  "address": "192.168.1.144",
  "port": 8080,
  "tags": ["exporter"],
  "meta": {
    "job": "cadvisor",
    "instance": "Prometheus服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.144:8080/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register

curl -X PUT -d '{
  "id": "cadvisor2",
  "name": "cadvisor",
  "address": "192.168.1.140",
  "port": 8080,
  "tags": ["exporter"],
  "meta": {
    "job": "cadvisor",
    "instance": "docker服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.140:8080/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register
 

#process_exporter
curl -X PUT -d '{
  "id": "process1",
  "name": "process_exporter",
  "address": "192.168.1.140",
  "port": 9256,
  "tags": ["exporter"],
  "meta": {
    "job": "process_exporter",
    "instance": "docker服务器",
    "env": "test"
  },
  "checks": [{
    "http": "http://192.168.1.140:9256/metrics",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register

#domin
curl -X PUT -d '{
  "id": "domain1",
  "name": "domain_exporter",
  "address": "baidu.com",
  "tags": ["domain"],
  "checks": [{
    "http": "http://192.168.1.140:9222",
    "interval": "5s"
  }]
}' http://localhost:8500/v1/agent/service/register

执行脚本：

sh api.sh

8、脚本执行完成后在Consul 页面刷新查看

注：如果页面报错稍等一会再次刷新一下查看，

9、再次访问Prometheus端的IP加9090端口选择Status在选择Targets查看

http://192.168.1.144:9090/

10、安装consul manager

注：consul manager 需要依赖 consul 请先完成 consul 的部署。

使用docker-compose来部署consul manager

下载(在Prometheus端操作)：

wget https://starsl.cn/static/img/docker-compose.yml

编辑：

vim docker-compose.yml 

11、启动docker-compose

docker-compose up -d          #启动

docker  ps                             #查看

12、访问consul manager的web页面

注：我consul manager是安装在Prometheus端的所以输入Prometheus端的IP加1026端口访问

http://192.168.1.144:1026/

注：密码我们在前面（第 10 ）都已经写入了 我的密码是sy123456

可以在上面更简单化的进行新增 删除

袁随
关注
  • 19
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
prometheus_consul_exporter_role:安装Prometheus Consul导出器的Ansible角色
05-16
普罗米修斯领事出口商Ansible角色 这个角色角色在Debian环境中安装了Prometheus Consul Exporter。 入门 这些说明将为您提供Ansible剧本角色的副本。 一旦启动，它将在Debian系统中安装服务器。 先决条件 已安装Ansible 2.9.x版本。 已安装Molecule 3.xx版本。 库存目的地应该是Debian环境。 出于测试目的， Molecule以Docker作为提供者。 正在安装 创建或添加到您的角色依赖文件中（例如，requirements.yml）： - src: idealista.prometheus_consul_exporter_role version: 1.0.0 name: prometheus_consul_exporter 使用ansible-galaxy命令安装角色： ansible-gala
关于Prometheus监控系统搭建流程
03-09
通过以上步骤，你可以成功搭建起一个基本的Prometheus监控系统，监控并可视化服务的性能指标，及时发现和处理问题。随着监控系统的深入使用，还可以探索更多高级特性，如服务依赖图、PromQL查询语言的复杂表达式、...
Prometheus 基于 Consul 实现服务自动发现注册
匠人精神，持之以恒！
03-17 1398
Prometheus与Consul集成可以实现服务的自动发现和注册。Consul 是一个服务发现和配置的工具，它可以管理服务的注册、发现和健康检查。Prometheus可以通过Consul的服务发现功能来动态地发现监控目标（Targets）。
利用golang_Consul代码实现Prometheus监控目标的注册以及动态发现与配置
最新发布
菜鸟运维升级之路
06-23 736
在实际产生环境中主要以prometheus监控为主,在使用该监控时,有个很大的问题时,需要手动修改Prometheus.yml文件,将监控指标手动添加进去,当监控指标少的时候,维护和添加都很方便,但是当一套环境中监控指标多大几百个,添加工作繁琐,这时你会想到写个shell脚本,对多个监控指标进行添加,但是你有没有考虑过此时的prometheus.yaml文件的可维护性以及当添加的监控指标越来越多时,prometheus主机的cpu、内存也随之增长,这时你该怎么处理呢？
prometheus+consul 服务自动发现监控
han949417140的博客
01-19 3792
prometheus+consul 服务自动发现监控 搭建prometheus监控平台请参考：https://blog.csdn.net/han949417140/article/details/112345172 一、 简介 prometheus配置文件 prometheus.yml 里配置需要监听的服务时，是按服务名写死的，如果后面增加了节点或者组件信息，就得手动修改此配置，并重启 promethues；那么能否动态的监听微服务呢？Prometheus 提供了多种动态服务发现的功能，这里以 consul
Prometheus 通过 consul 实现自动服务发现
热门推荐
哎_小羊的博客
11-12 3万+
Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。之前我们通过 Prometheus 实现监控，当新增一个 Target 时，需要变更服务器上的配置文件，即使使用 file_sd_configs 配置，也需要登录服务器修改对应 Json 文件，会非常麻烦。不过 Prometheus 官方支持多种自动服务发现的类型，其中就支持 Consul。
Prometheus监控实战系列十八：基于Consul的服务发现
青梅煮酒
03-26 1690
Consul 是HashiCorp 公司推出的开源工具，产品基于GO 语言开发，主要面向分布式、服务化的系统提供服务注册、服务发现和配置管理的功能。服务发现Consul 的客户端可以注册一个服务，例如 api 或 mysql，其他客户端可以使用 Consul 来发现给定服务的提供者。健康检查Consul 可以根据给定的信息，对服务的状态进行检查，并获取服务的健康状态。Key/Value存储通过HTTP API的方式实现Key/Value存储，可用于动态配置、功能标记、协商等多种场景。
通过consul 实现Prometheus的自动发现
叱咤少帅的博客
04-27 2353
为什么这么做？ 因为我们知道如果要要加Kafka等其他中间件的Job，需要更改prometheus的配置文件，并且重启Prometheus。小规模还可以。如果量大了 需要频繁更改配置文件。并且是不同的运维在修改，容易改错，也不适合自动化和平台化的实现。那么怎么能实现通过请求api接口添加job进去并重启proms去实现了？ 我们可以通过consul的自动发现实现 参考资料 Consule Docs Consule Service API Prometheus configurations C
prometheus-服务发现
01-07
基于Consul的服务发现 其他动态的服务发现 对比 参考 名词定义 target：被监控的目标节点 概念 已经知道prometheus是基于pull形式进行数据采集，prometheus可以通过静态配置更新监控的目标，但这样势必带来巨大的...
深入浅出开源监控系统Prometheus
01-26
动态发现则可通过DNS、Kubernetes、Consul等服务发现机制自动发现并添加新的目标，提高了系统的可扩展性。 Prometheus的指标模型基于时间序列数据，每个指标都有一个名称和一组标签，用于描述不同的维度。这种模型...
prometheus+grafana监控CDH组件配置文件
06-16
2. **配置服务发现**：对于CDH组件，你需要在`prometheus.yml`中设置服务发现规则，让Prometheus能够自动发现并监控集群中的节点和服务。这通常通过SD（Service Discovery）机制实现，例如使用file_sd配置文件或者...
Prometheus（普罗米修斯）监控系统
09-12
3. **服务发现机制**：Prometheus支持多种服务发现机制，包括静态配置、DNS、Consul、Kubernetes等。这使得Prometheus能够自动发现并跟踪目标服务，如微服务实例，确保监控数据的实时性和准确性。 4. **拉取模型**...
Prometheus配置consul服务发现
Operational_0624的博客
03-07 1657
server ：定义agent运行在server模式-bootstrap-expect ：在一个datacenter中期望提供的server节点数目，当该值提供的时候，consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap共用-data-dir：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名。
prometheus服务发现之consul
weixin_42132143的博客
12-08 642
我们平时使用 prometheus 收集监控数据，例如通过 node_exporter 获取监控数据，那每次新增一个监控的节点，我们都得相对应地修改 prometheus 地配置文件并重启他，相当麻烦，于是，prometheus 就提供了服务发现地机制，可以动态新增监控的节点。欢迎指出我的错误！
Prometheus结合Consul实现自助服务发现
JessonLiu_的博客
01-08 1288
Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能，默认端口8500。Consul提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。通过 Prometheus 实现监控，当新增一个Target 时，需要变更服务器上的配置文件，即使使用 file_sd_configs 配置，也需要登录服务器修改对应 Json文件，会非常麻烦。
Prometheus通过consul实现自动服务发现
crontab_e的博客
12-29 2275
我们先来普及一下的功能， Prometheus 允许用户在采集任务设置中，通过来添加自定义的 Relabeling 的额过程，来对标签进行指定规则的重写。Prometheus 加载 Targets 后，这些 Targets 会自动包含一些默认的标签，Target 以__作为前置的标签是在系统内部使用的，这些标签不会被写入到样本数据中。眼尖的会发现，每次增加 Target 时会自动增加一个 instance 标签，而 instance 标签的内容刚好对应 Target 实例的。
prometheus服务发现之file、consul形式详细配置说明
这有一片海的博客
01-18 1418
prometheus的配置都是基于文件的，不论是规则配置还是target的配置都是如此，每次新增配置和修改规则都需要操作配置文件，维护成本太高。 prometheus官方提供了多种服务发现机制。 介绍三种方式：基于静态文件、基于动态文件、基于consul的服务发现。 并介绍通过consul+confd实现规则文件动态刷新。
Prometheus基于consul服务发现
weixin_38320674的博客
05-01 2889
consul是什么？Consul是一个分布式的，高可用的服务注册系统，由server端和client端组成，每个server和client都是consul的一个节点，consul客户端不...
【prometheus】prometheus基于consul服务发现实现监控
康师傅没有眼泪
05-16 1748
Consul是一个分布式的，高可用的服务注册系统，由server端和client端组成，每个server和client都是consul的一个节点，consul客户端不保存数据，客户端将接收到的请求转发给响应的Server端。Server之间通过局域网或广域网通信实现数据一致性prprometheus基于consul的服务发现流程如下：（1）在consul注册服务或注销服务（监控targets）
Prometheus监控 consul
08-05
Prometheus可以通过Exporter来监控Consul服务。Consul是一款常用的服务发现和配置管理工具，而Prometheus是一款开源的监控和告警系统。通过使用Exporter，可以将Consul的监控指标数据转换为Prometheus可以处理的格式，并存储到Prometheus Server中。这样可以更好地管理和分析Consul集群的运行情况。在大规模的监控环境中，基于文件的方式可能会面临一些挑战，需要频繁修改Prometheus的配置文件。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值