Prometheus+Ansible+Consul实现服务发现

已于 2024-03-05 16:51:39 修改
阅读量1.1k 收藏 2
点赞数 1
分类专栏： Devops 文章标签： prometheus ansible consul consul服务发现
于 2023-11-13 17:50:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dream_ya/article/details/134381324
版权

一、简介

1、Consul简介

  • Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。

  • 在没有使用 consul 服务自动发现的时候，我们需要频繁对 Prometheus 配置文件进行修改，无疑给运维人员带来很大的负担。引入consul之后，只需要在consul中维护监控组件配置，prometheus就能够动态发现配置

2、实验环境

IP操作系统安装服务
172.18.200.52ubuntu 22.04.1Docker、Prometheus、Grafana、Consul
172.18.200.53ubuntu 22.04.1node-exporter

二、安装Consul

1、配置docker-compose.yml

# cat docker-compose.yml
version : '3'
services:
  consul:
    image: consul:1.15
    restart: always
    container_name: consul
    hostname: consul
    environment:
      TZ: Asia/Shanghai
    ports:
      - 8500:8500
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./consul/config:/consul/config
      - ./consul/data:/consul/data/
    command: ["consul","agent","-config-dir","/consul/config"]

2、配置consul.hcl

server: 将其设置为 true 将使我们的 consul 服务作为服务器运行，而不是作为客户端或代理运行。
data_dir: consul 的默认数据目录，它存储一些持久服务器值。
log_level: 在运行 consul 的命令时我们将如何处理日志。
client_addr: 我们的客户地址，如果我们想要更多地保护它，我们可以使用 - 子网划分或只允许来自确定的 ip 的连接。
bind_addr: 我们的服务器ip地址，如果只使用一个网卡则不需要
connect: 允许网状连接。
ui_config: 基于Web的用户界面。

# cat consul/config/consul.hcl
client_addr = "0.0.0.0"
bind_addr = "127.0.0.1"
data_dir = "/consul/data"
log_level = "INFO"
server = true
bootstrap = true
connect {
  enabled = true
}
ui_config {
  enabled = true
}
acl = {
  enabled = true
  default_policy = "allow"
  enable_token_persistence = true
}

3、启动consul

# docker-compose up -d
# docker exec -it consul /bin/sh
/ # consul acl bootstrap
AccessorID:       738dba6d-xxxx-6f8e-xxxx-8b10d9b06a6f
SecretID:         c32db00c-xxxx-37be-xxxx-8b674d033ce3
Description:      Bootstrap Token (Global Management)
Local:            false
Create Time:      2023-11-14 06:16:01.812609522 +0000 UTC
Policies:
   00000000-0000-0000-0000-000000000001 - global-management

4、浏览器访问

通过SecretID进行登录

http://172.18.200.52:8500

在这里插入图片描述

在这里插入图片描述

三、配置Ansible

1、安装

# apt-get install ansible

2、修改配置

# cat /etc/ansible/ansible.cfg
[defaults]
#host_key_checking = False
#error_on_undefined_vars = True
#timeout = 60
#inventory = inventory.tmp
#roles_path = /conjurinc
#remote_tmp = /tmp
host_key_checking = False
log_path = /var/log/ansible.log

四、ansible-playbook编写

1、查看目录结构

# tree ./
./
├── inventory
│   └── hosts
├── node_exporter_roles.yml
└── roles
    ├── node-exporter
    │   ├── defaults
    │   │   └── main.yml
    │   ├── files
    │   │   └── node_exporter-1.6.1.linux-amd64.tar.gz
    │   ├── handlers
    │   │   └── main.yml
    │   ├── tasks
    │   │   └── main.yml
    │   └── templates
    │       └── node_exporter.service.j2
    └── register
        ├── files
        │   └── consul_register.sh
        └── tasks
            ├── main.yml
            └── register.yml

2、配置hosts

service_name：可以不配置

# cat inventory/hosts
[linux]
172.18.200.53 service_name=linux-172.18.200.53

[linux:vars]
consul_ip=172.18.200.52
consul_port=8500
node_exporter_port=9100
consul_token=c32db00c-xxxx-37be-xxxx-8b674d033ce3

3、配置node_exporter_roles.yml

# cat node_exporter_roles.yml
- hosts: linux
  gather_facts: no
  roles:
    - role: node-exporter

4、配置roles/node-exporter

（1）下载exporter

下载地址：https://github.com/prometheus/node_exporter/releases/tag/v1.6.1

在这里插入图片描述

（2）配置defaults

设置service_name默认值

# cat roles/node-exporter/defaults/main.yml
service_name: "{{ group_names[0] }}-{{ inventory_hostname }}"
（3）配置handlers
# cat roles/node-exporter/handlers/main.yml
- name: restart node exporter service
  systemd:
    name: node_exporter
    state: restarted
    daemon-reload: yes

- include_tasks: roles/register/tasks/register.yml
（4）配置tasks
# cat roles/node-exporter/tasks/main.yml
- name: push node_exporter
  unarchive:
    src: node_exporter-1.6.1.linux-amd64.tar.gz
    dest: /usr/local

- name: rename
  shell: |
    cd /usr/local
    if [ ! -d node_exporter ]
      then mv node_exporter-1.6.1.linux-amd64 node_exporter
    fi

- name: copy node_exporter systemd
  template:
    src: node_exporter.service.j2
    dest: /usr/lib/systemd/system/node_exporter.service
  notify: restart node exporter service

- name: start node_exporter
  systemd:
    name: node_exporter
    state: started
    enabled: yes
    daemon-reload: yes

- include_tasks: roles/register/tasks/main.yml
（5）配置templates

node_exporter_port：端口可以进行配置

# cat roles/node-exporter/templates/node_exporter.service.j2
[Unit]
Description=node_exporter

[Service]
ExecStart=/usr/local/node_exporter/node_exporter --web.listen-address=:{{ node_exporter_port }}
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

5、配置roles/register

（1）配置files

name：ansible hosts的name
group_names[0]：组名，如果属于children，那么就是group_names[1]
inventory_hostname：ansible hosts的ip
node_exporter_port：node_exporter的端口，默认9100
consul_ip：consul服务的ip
consul_port：consul服务的端口
consul_token：consul服务的SecretID

# cat roles/register/files/consul_register.sh
#!/bin/bash

instance_id=$1
service_name=$2
ip=$3
port=$4
consul_ip=$5
consul_port=$6
consul_token=$7

curl -X PUT --header "X-CONSUL-TOKEN: $consul_token" -d '{"id": "'"$instance_id"'","name": "'"$service_name"'","address": "'"$ip"'","port": '"$port"',"tags": ["'"$service_name"'"],"checks": [{"http": "http://'"$ip"':'"$port"'","interval": "5s"}]}' http://$consul_ip:$consul_port/v1/agent/service/register
（2）配置tasks
# cat roles/register/tasks/main.yml
- name: push consul_register.sh
  copy:
    src: roles/register/files/consul_register.sh
    dest: /usr/local/bin

- include_tasks: roles/register/tasks/register.yml

# cat roles/register/tasks/register.yml
- name: register nodes into consul
  shell: /bin/bash /usr/local/bin/consul_register.sh {{ service_name }} {{ group_names[0] }} {{ inventory_hostname }} {{ node_exporter_port }} {{ consul_ip }} {{ consul_port }} {{ consul_token }}

五、修改Prometheus配置

1、配置prometheus.yml

services中的linux：ansible hosts文件中的group名字
这里的services为列表，所有可以添加多个不同组的服务器进来，也实现了分组

# cat prometheus/conf/prometheus.yml
...
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "linux"
    consul_sd_configs:
      - server: 172.18.200.52:8500
        token: c32db00c-xxxx-37be-xxxx-8b674d033ce3
        services: ['linux']

2、重启

# docker restart prometheus

六、执行并添加Grafana

1、执行ansible-playbook命令

# ansible-playbook -i inventory/hosts node_exporter_roles.yml

2、查看Consul

在这里插入图片描述

3、删除Consul实例

http://ip:port/v1/agent/service/deregister/实例id

http://172.18.200.52:8500/v1/agent/service/deregister/linux-172.18.200.53

在这里插入图片描述

4、添加Grafana

模板id：9276

在这里插入图片描述

Wielun
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
prometheus-ansible：使用Ansible安装和配置Prometheus，Alertmanager，node_exporter，blackbox_exporter
02-06
使用Ansible进行Prometheus置备 Ansible手册，用于设置Prometheus监视系统和配置监视节点。 普罗米修斯 警报经理 node_exporter blackbox_exporter 待办事项：postgres_exporter 本地开发设置 本地安装程序设置了Prometheus服务器和另一个安装了node_exporter服务器。 在vagrant.default.yml配置vagrant.default.yml服务器并测试客户端服务器 vagrant up 远端设定 对于远程设置，Prometheus服务器需要Ubuntu 16.04 Xenial服务器。
prometheus_consul_exporter_role:安装Prometheus Consul导出器的Ansible角色
05-16
这个角色角色在Debian环境中安装了Prometheus Consul Exporter。 入门 这些说明将为您提供Ansible剧本角色的副本。 一旦启动，它将在Debian系统中安装服务器。 先决条件 已安装Ansible 2.9.x版本。 已安装Molecule ...
prometheus实战之一：用ansible部署
程序员欣宸的博客
04-30 1568
用ansible部署prometheus和node_exporter，详细说明每个步骤以及脚本内容
Prometheus： ansible+consul自动发现，监控服务器
weixin_67405599的博客
10-17 1113
用ansible配合consul，来批量自动监控服务器，极大提高Prometheus监控的效率
用 Ansible 安装 Prometheus 和 Grafana
最新发布
nujnus9221的博客
05-17 1636
在 Playbook 中定义目标主机和任何必要的变量，如 Prometheus 和 Grafana 的版本。vars:添加任务以安装 Prometheus。这可能包括添加 Prometheus 的 APT 或 YUM 仓库（取决于你的 Linux 发行版），安装 Prometheus 服务器和 Node Exporter。tasks:package:package:template:service:添加任务以安装 Grafana。
[从零构建Prometheus监控] 第三节：使用ansible批量部署Exporter（附代码）
Not Found 404
11-02 522
本篇讲解了如何安装exporter，并提供脚本源代码供自动化部署。
基于k8s+docker+Prometheus的可监控高可用web集群
yuer1228的博客
09-07 996
kind: Podmetadata:labels:spec:image: busybox #修改args:- /bin/sh- -csleep 30;
Ansible批量部署客户端并注册consul自动发现
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
08-23 832
前文链接：https://blog.csdn.net/heian_99/article/details/119874180 需求：prometheus监控多台主机时，基于自动发现consul模块，主机安装采集器注册到那台consul，consul识别到。promethues获取consul地址上的监控主机列表，实现多台主机自动发现。 思路： web机器安装node_exporter采集器 2.注册node_exporter为系统服务 3.使用curl -x PUT ... 注册到consul机器中
使用ansible部署prometheus加上grafana
洛溪的博客
12-17 3014
使用ansible部署prometheus加上grafana 在自动化大行其道的当下，作为运维人员必须掌握的自动化。今天是做使用ansible向你的服务器集群快速部署监控系统。很适合人少机器多的中小型企业上监控告警服务。 架构 系统全部采用Centos7.2 角色 IP地址 master 10.0.0.23 node1 10.0.0.24 node2 10.0.0.25 ...
Ansible-ansible-consul.zip
09-18
2. **配置Consul**：通过YAML格式的Ansible playbook，我们可以定义Consul的配置文件，包括设置服务发现、健康检查、数据持久化等参数。 3. **启动和管理Consul服务**：Ansible能确保Consul服务在所有节点上正确...
ansible-prometheus：在Prometheus软件和Prometheus出口商管理中的角色
01-31
Ansible普罗米修斯 安装和管理， ， 和众多 设计该角色是为了轻松添加新的出口商。 常规发行版确保它始终提供最新的Prometheus软件。 该角色可以自动在Prometheus服务器上注册客户端出口商（请参见下面的tgroup...
ansible-prometheus：用于安装Prometheus监控系统的Ansible剧本，出口商例如：node，snmp，blackbox，因此警报管理器和推送网关
01-29
普罗米修斯 Ansilbe剧本，用于安装Prometheus监控系统。 Playbook使用systemd安装和管理服务。 目前支持： 普罗米修斯 节点导出器（收集主机指标） 警报管理员 推送网关 SNMP导出器 黑盒出口商 Playbook包含大量配置选项，请检查default / main.yml 贡献 如果找不到出口商，则需要检查以下示例或并提出拉取请求。 安装 ansible-galaxy安装ernestas-poskus.ansible-prometheus 要求 系统化 角色变量 --- # defaults file for ansible-prometheus prometheus_install : true prometheus_node_exporter_install : true prometheus_alert_manager_install : true prometheus_push_gateway_install : false prometheus_snmp_exporter_install : false prometheus_blackb
ansible-prometheus：部署Prometheus监视系统
01-31
Ansible角色：普罗米修斯 描述 使用Ansible部署监控系统。 升级注意事项 从此角色的<= 2.4.0版本升级到> = 2.4.1时，请关闭您的prometheus实例。 更多内容 要求 Ansible> = 2.7（它可能在以前的版本中可用，但我们不能保证） 部署程序机器上的jmespath。 如果从Python virtualenv使用Ansible，请通过pip将jmespath安装到同一virtualenv。 Mac部署程序主机上的gnu-tar（ brew install gnu-tar ） 角色变量 所有可以覆盖的变量都存储在文件以及下表中。 名称 默认值 描述 prometheus_version 2.24.1 Prometheus软件包版本。 也接受“ latest作为参数。 仅支持prometheus 2.x prometheus_skip_install 假 设置为true时，将跳过Prometheus安装任务。 prometheus_binary_local_dir ” 允许使用本地软件包，而不是在github上分发的软件包。 作为参
ansible-node-exporter：为Prometheus监视工具提供基本指标导出器
01-31
Ansible角色：节点导出器 描述 使用Ansible部署Prometheus器。 要求 Ansible> = 2.9（它可能适用于以前的版本，但我们不能保证） Mac部署程序主机上的gnu-tar（ brew install gnu-tar ） 使用基本身份验证功能时需要passlib（ pip install passlib[bcrypt] ） 角色变量 可以覆盖的所有变量都存储在并在下表中列出。 名称 默认值 描述 node_exporter_version 1.0.1 节点导出程序软件包版本。 也接受“最新”作为参数。 node_exporter_binary_local_dir ” 允许使用本地软件包，而不是在github上分发的软件包。 作为参数，它使用一个目录，在该目录node_exporter二进制文件存储在运行node_exporter主机上。 这将覆盖node_exporter_version参数 node_exporter_web_listen_address “ 0.0.0.0:9100” 出口者将在其上侦听的地址 node_exporte
Ansible-ansible-prometheus.zip
09-18
Ansible-ansible-prometheus.zip,安装普罗米修斯的负责角色，格式为ansible galaxy.william-yeh.prometheus for ansible galaxy,ansible是一个简单而强大的自动化引擎。它用于帮助配置管理、应用程序部署和任务自动化。
ansible-prometheus:prometheus 的 ansible 配置
06-03
普罗米修斯 ansible 角色 设置 用法 您需要做的就是包含角色并自定义您的 prometheus 配置文件： --- - hosts : vm remote_user : vagrant sudo : true roles : - nicolai86.prometheus 这会将最新版本的 prometheus 设置为系统服务并启动它。 有关如何自定义配置的信息，请参阅示例目录。
Ansible-ansible-haproxy.zip
09-18
4. **动态配置**：如果 HAProxy 需要根据运行时环境变化进行动态调整，Ansible 可以结合其他工具（如 Consul、Etcd 或 ZooKeeper）来获取集群信息，并自动更新配置。 5. **验证和测试**：Ansible 提供了 `assert` ...
kubez-ansible:通过Ansible为kubernetes提供快速部署工具
03-25
环境维护CNI Flannel Calico显色指数docker containerd基本应用Helm3 Nginx Ingress Ceph provisioner Nfs provisioner Grafana Prometheus Kibana Fluentd Elasticsearch HPA Kubez-autoscaler插件应用Gerrit ...
探索Ansible-Consul: 简化自动化服务发现与配置管理
gitblog_00098的博客
04-19 342
探索Ansible-Consul: 简化自动化服务发现与配置管理 项目地址:https://gitcode.com/ansible-community/ansible-consul 在现代IT环境中，服务发现和动态配置管理是至关重要的。Ansible-Consul 是一个强大的开源项目，它将Ansible的自动化能力与Consul的服务发现和配置共享功能相结合，为开发者和运维人员提供了一套高效、可...
基于Prometheus+grafana的Nacos监控实现的参考文献
07-28
基于Prometheus+Grafana的Nacos监控实现的参考文献可以参考\[3\]中的文章目录。该目录提供了关于Prometheus监控Springboot程序的详细步骤，包括添加依赖、修改配置文件、启用Prometheus监控、监控埋点等内容。此外，你还可以参考其他相关的文献和资料来获取更多关于基于Prometheus+Grafana的Nacos监控实现的信息。 #### 引用[.reference_title] - *1* *2* *3* [Prometheus监控Springboot程序](https://blog.csdn.net/mingyonghu/article/details/104040205)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wielun

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值