`node_exporter` 服务未能加入 `shared-net` 网络，导致 Prometheus 无法连接到 `node_exporter`。

已于 2024-07-01 14:43:02 修改
阅读量325 收藏 2
点赞数 6
文章标签： 网络 prometheus
于 2024-06-28 18:21:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q123q123q_/article/details/140050875
版权

Docker Swarm 网络和服务配置问题及解决方案

问题：

node_exporter 服务未能加入 shared-net 网络，导致 Prometheus 无法连接到 node_exporter。

错误信息：
monitor_prometheus.1.n17c946xz0qx@liu-virtual-machine | level=error ts=2024-06-28T09:44:20.378Z caller=notifier.go:528 component=notifier alertmanager=http://alertmanager:9093/api/v1/alerts count=0 msg="Error sending alert" err="Post http://alertmanager:9093/api/v1/alerts: dial tcp: lookup alertmanager on 127.0.0.11:53: no such host"

journalctl -f -u docker.service 报以下错误：

6月 28 18:04:39 liu-virtual-machine dockerd[50203]: time="2024-06-28T18:04:39.172574766+08:00" level=error msg="[resolver] failed to query external DNS server" client-addr="udp:172.18.0.3:59776" dns-server="udp:8.8.8.8:53" error="read udp 172.18.0.3:59776->8.8.8.8:53: i/o timeout" question=";smtp.qq.com.\tIN\t AAAA"
6月 28 18:04:43 liu-virtual-machine dockerd[50203]: time="2024-06-28T18:04:43.425425845+08:00" level=error msg="[resolver] failed to query external DNS server" client-addr="udp:172.18.0.3:54774" dns-server="udp:8.8.8.8:53" error="read udp 172.18.0.3:54774->8.8.8.8:53: i/o timeout" question=";smtp.qq.com.\tIN\t A"

逐步解决方案：

1. 检查 Docker 服务和容器

确保所有服务都在运行并处于正确状态：

docker service ls
docker ps -a
docker network ls

发现有容器部署在worker节点，开始认为这里原因。在最后总结完，是dns配置问题。

2. 如果缺少外部网络，创建它

如果 shared-net 网络未列出，请创建它：

docker network create --driver overlay shared-net
3. 修改 docker-compose.yml 文件

确保所有服务都连接到 shared-net 网络。以下是更新后的 docker-compose.yml 文件：

version: '3.8'

volumes:
  prometheus_data: {}
  grafana_data: {}

networks:
  shared-net:
    external: true

services:
  prometheus:
    image: prom/prometheus:v2.11.1
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - $PWD/prometheus/:/etc/prometheus/
      - prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--web.console.libraries=/usr/share/prometheus/console_libraries'
      - '--web.console.templates=/usr/share/prometheus/consoles'
    networks:
      - shared-net
    ports:
      - 9090:9090
    depends_on:
      - cadvisor

  alertmanager:
    image: prom/alertmanager:v0.18.0
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - $PWD/alertmanager/:/etc/alertmanager/
    command:
      - '--config.file=/etc/alertmanager/config.yml'
      - '--storage.path=/alertmanager'
    networks:
      - shared-net
    ports:
      - 9093:9093

  cadvisor:
    image: lagoudocker/cadvisor:v0.37.0
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /:/rootfs:ro
      - /var/run:/var/run:rw
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
    networks:
      - shared-net
    ports:
      - 8080:8080

  node_exporter:
    image: prom/node-exporter:v0.18.0
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
      placement:
        constraints:
          - node.role == manager  # 确保 node_exporter 运行在 manager 节点
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command: 
      - '--path.procfs=/host/proc' 
      - '--path.sysfs=/host/sys'
      - --collector.filesystem.ignored-mount-points
      - "^/(sys|proc|dev|host|etc|rootfs/var/lib/docker/containers|rootfs/var/lib/docker/overlay2|rootfs/run/docker/netns|rootfs/var/lib/docker/aufs)($$|/)"
    networks:
      - shared-net
    ports:
      - 9100:9100

  grafana:
    image: grafana/grafana
    user: "104"
    deploy:
      replicas: 1
      restart_policy:
        condition: on-failure
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - grafana_data:/var/lib/grafana
      - $PWD/grafana/provisioning/:/etc/grafana/provisioning/
    env_file:
      - $PWD/grafana/config.monitoring
    networks:
      - shared-net
    ports:
      - 3000:3000
    depends_on:
      - prometheus
4. 重新部署堆栈

重新部署您的堆栈：

docker stack deploy -c docker-compose.yml your_stack_name
5. 验证网络配置

再次检查 shared-net 网络中是否包含所有服务：

docker network inspect shared-net
6. 验证连接

在 Prometheus 容器中，验证是否可以连接到 node_exporter：

docker exec -it $(docker ps -q -f name=prometheus) wget -qO- http://node-exporter:9100/metrics
7. 检查容器日志

如果问题仍然存在，请检查 node_exporter 和 Prometheus 容器的日志：

docker logs $(docker ps -q -f name=node_exporter)
docker logs $(docker ps -q -f name=prometheus)

Docker Swarm 中 Prometheus 和 Node Exporter 连接问题的解决过程文档

问题描述

在 Docker Swarm 集群中，Prometheus 无法解析 Node Exporter 的地址，导致无法抓取 Node Exporter 的指标。

主要症状
  • prometheus 容器无法通过 DNS 名称解析 node-exporter 的地址。
  • wget 和 ping 命令在 prometheus 容器中无法访问 node-exporter。

解决步骤

1. 初步检查

  • 检查服务和容器状态： 确保所有服务都在运行并处于正确状态。

    docker service ls
docker ps -a

  • 检查网络配置： 确保所有服务都连接到 shared-net 网络。

    docker network inspect shared-net
2. 发现问题
  • 使用 nslookup 和 ping 命令检查 DNS 解析，发现 prometheus 容器无法解析 node-exporter 的 DNS 名称。
    docker exec -it <prometheus_container_id> sh
nslookup node-exporter
ping node-exporter
wget -qO- http://node-exporter:9100/metrics
3. 临时解决方案

  • 使用 IP 地址配置 prometheus.yml 文件： 确保 Prometheus 可以通过 IP 地址抓取 Node Exporter 的指标。

    获取 node-exporter 容器的 IP 地址：

    docker inspect -f '{{range.NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -q -f name=monitor_node_exporter)

    更新 prometheus.yml 配置文件：

    global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    static_configs:
      - targets: ['10.0.1.58:9100']  # 使用 node-exporter 的 IP 地址

    更新并重新部署 Prometheus 服务：

    docker service update --force monitor_prometheus
4. 解决 DNS 解析问题

  • 修改 Docker Daemon 配置文件： 在 /etc/docker/daemon.json 中添加 DNS 配置，以确保容器可以正确解析 DNS 名称。

    编辑 /etc/docker/daemon.json 文件，添加 DNS 配置：

    {
  "registry-mirrors": ["https://9g4tfngi.mirror.aliyuncs.com"],
  "dns": ["8.8.8.8", "8.8.4.4"]
}

  • 重启 Docker 服务： 使更改生效。

    sudo systemctl restart docker

  • 确认更改生效：

    docker info
5. 验证和重新部署

  • 更新 prometheus.yml 文件（可选）： 确认 DNS 解析正常后，可以将 prometheus.yml 文件恢复为使用 DNS 名称。

    global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    static_configs:
      - targets: ['node-exporter:9100']

  • 重新部署服务： 确保所有容器和服务都使用新的 DNS 配置。

    docker stack deploy -c docker-compose.yml monitor

  • 验证连接： 在 prometheus 容器内，验证是否可以通过 DNS 名称连接到 node-exporter。

    docker exec -it $(docker ps -q -f name=monitor_prometheus) sh
wget -qO- http://node-exporter:9100/metrics

最终结果

通过上述步骤，成功解决了 Prometheus 无法解析 Node Exporter 地址的问题。确保 Docker 的 DNS 配置正确，使 Prometheus 能够通过 DNS 名称抓取 Node Exporter 的指标。

总结

  1. 初步检查： 确认服务和网络状态。
  2. 发现问题： 确认 DNS 解析问题。
  3. 临时解决： 使用 IP 地址配置 Prometheus。
  4. 根本解决： 修改 Docker Daemon 配置文件，添加 DNS 配置。
  5. 验证和部署： 确认更改生效并重新部署服务。

通过这些步骤，您成功解决了 Prometheus 无法解析 Node Exporter 地址的问题。

Docker Swarm 中 Prometheus 和 Node Exporter 连接问题解决过程中使用的命令总结

1. 检查服务和容器状态

检查所有 Docker 服务是否在运行状态：

docker service ls

列出所有 Docker 容器：

docker ps -a
2. 检查网络配置

检查 shared-net 网络的配置，确保所有服务都连接到该网络：

docker network inspect shared-net
3. 在容器内进行 DNS 解析测试

进入 prometheus 容器：

docker exec -it <prometheus_container_id> sh

在 prometheus 容器内部使用 nslookup 和 ping 测试 DNS 解析：

nslookup node-exporter
ping node-exporter

尝试访问 node-exporter 的 metrics 端点：

wget -qO- http://node-exporter:9100/metrics
4. 获取 node-exporter 容器的 IP 地址

获取 node-exporter 容器的 IP 地址：

docker inspect -f '{{range.NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -q -f name=monitor_node_exporter)
5. 更新并重新部署 Prometheus 配置

更新 prometheus.yml 文件，使用 node-exporter 的 IP 地址：

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    static_configs:
      - targets: ['10.0.1.58:9100']

重新部署 Prometheus 服务：

docker service update --force monitor_prometheus
6. 修改 Docker Daemon 配置文件

编辑 /etc/docker/daemon.json 文件，添加 DNS 配置：

{
  "registry-mirrors": ["https://9g4tfngi.mirror.aliyuncs.com"],
  "dns": ["8.8.8.8", "8.8.4.4"]
}

重启 Docker 服务以使更改生效：

sudo systemctl restart docker

确认 DNS 配置生效：

docker info
7. 验证连接

进入 prometheus 容器，并尝试访问 node-exporter 的 metrics 端点：

docker exec -it $(docker ps -q -f name=monitor_prometheus) sh
wget -qO- http://node-exporter:9100/metrics
8. 重新部署服务

重新部署整个 Docker Stack，以确保所有容器和服务都使用新的 DNS 配置：

docker stack deploy -c docker-compose.yml monitor

通过这些命令，您成功诊断并解决了 Prometheus 无法解析 Node Exporter 地址的问题。

北京秃子运维
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Prometheus使用node_exporter监控主机grafana模板显示无数据问题
xingdiango的博客
05-27 1万+
使用k8s部署的prometheus后，从官网下载的node_export监控dashboard导入后很多没有数据，网上查了很多也没有相应的，大部分还是你抄我我抄你的复制，没有解决问题的根本。
CentOS故障排除详解(3): 网络环境
知行合一 止于至善
01-26 7047
在这篇文章中，我们将会学到一些常用的命令诸如ping/dig/host/traceroute/mtr/ss/tcpdump等，同时如何使用这些命令进行简单的网络故障确认。
docker 解析DNS失败
禹鼎侯的博客
05-29 2374
我之前在docker里部署的容器，今天突然访问不了了，一开始我以为是容器的问题，将容器restart，销毁重建，都没有解决。里面报大量的DNS解析错误。是没有问题的。
Prometheus Node Exporter 指标显示为空的问题
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
02-03 2944
大家在使用 Grafana + Prometheus 解决方案过程中，可能会遇到 Node Exporter Dashboard 或者其他的 dashboard 出现监控数据为空的问题。
使用Prometheus的Node-exporter监控Kubernetes的Node节点失败（dial tcp i/o timeout）问题解决
永远是少年
05-30 4588
今天继续给大家介绍Linux运维相关知识，本文主要内容是使用Prometheus的Node-exporter监控Kubernetes的Node节点失败（dial tcp i/o timeout）问题解决。 一、报错现象 二、报错解决
node_exporter-1.1.2.linux-amd64.tar.gz
11-16
在Prometheus服务器中配置`node_exporter`作为目标，可以添加以下配置到`prometheus.yml`文件： ```yaml - job_name: 'node' static_configs: - targets: ['localhost:9100'] ``` 重启Prometheus服务后，它将...
node_exporter-1.0.1.linux-amd64.tar.gz
08-21
文件名“node_exporter-1.0.1.linux-amd64.tar.gz”是一个常见的Linux软件打包格式，表示它是通过gzip压缩的tar归档文件。解压后，用户可以找到包含可执行文件和其他资源的目录结构，按照官方文档进行安装和配置。 ...
node_exporter-0.18.1.linux-amd64.tar.gz
06-29
Node_exporter是一款由Prometheus项目开发的导出器，它是一个轻量级的服务端程序，用于收集并暴露Linux服务器的各种状态信息，如CPU使用率、内存占用、磁盘I/O、网络状态等。"node_exporter-0.18.1.linux-amd64.tar....
node_exporter-0.15.1.linux-amd64.tar.gz
07-11
1. 将解压后的`node_exporter`可执行文件移动到适当的位置，如`/usr/local/bin`。 2. 添加启动脚本，确保Node Exporter在系统启动时自动运行。 3. 修改防火墙规则，允许外部访问Node Exporter的默认端口9100，以便...
Prometheus插件安装之node_exporter
焦振清
12-04 6073
新增文件： touch /etc/systemd/system/node_exporter.service 文件内容如下： [Unit] Description=Prometheus node_exporter [Service] User=nobody ExecStart=/usr/local/bin/node_exporter --log.level=error ExecStop=...
DNS报错
windysky0v0的博客
05-18 1116
DNS报错无法连接网络 前景 昨晚，电脑莫名卡顿后，自动重启进入bios界面，退也退不出去，不断进入BIOS。通过按F7进入存储界面，发现系统盘检测不到了，无奈下只好拆拔下，可以正常启动进入桌面了。但发现电脑无法连接网络，但网线明明是插好的，同时，我的主板是 b550 WiFi版，但wifi也无法连接上。 解决过程 1、首先，确保网络是没问题的，我的手机能连接上WiFi，但电脑无法解决联网问题； 2、如果安装了360，可以通过它里面的软件管家进行网络修复，我就是在360检测时发现DNS出现了问题。如果你仅仅
02-prometheus监控-服务器节点监控node-exporter
最新发布
weixin_39941298的博客
05-16 263
prometheus，本身是一个【数据收集】和【数据处理】的工具，如果效果要监控一台服务器物理机，有两种方式，一种是在物理机上部署“node-export”来收集数据上报给prometheus，另一种是“自定义监控”；node-exporter，就是将服务器物理机的数据，收集好，不需要运维人员自己配置了，是一个比较简单的监控物理机的组件；本节，我们就来讲述node-exporter的使用方式，及prometheus如何来查询数据；点击Metrics之后，就可以看到，node-exporter采集的数据。
解决[ERR] memberlist: Received invalid msgType (80) from
空山新雨后，天气晚来秋
08-12 715
解决[ERR] memberlist: Received invalid msgType (80) from
使用Prometheus的Node-exporter监控Kubernetes的Node节点失败问题解决
永远是少年
05-30 2317
今天继续给大家介绍Linux运维相关知识，本文主要内容是使用Prometheus的Node-exporter监控Kubernetes的Node节点失败问题解决。 一、报错现象 二、报错解决
Prometheus使用node_exporter监控主机内存显示无数据问题
热门推荐
凉茶冰
03-22 1万+
从Prometheus官网下载最新的node_exporter在主机上部署，然后使用Grafana对主机资源界面化监控。从Grafana官网下载如下这个模版 导入之后，会发现内存使用率一直显示 no data 解决方案： 编辑内存使用率的panel,修改查询为如下： (1 - (node_memory_MemFree_bytes{instance=~"$node"} / (...
使用prometheus监控node_exporter告警案例
赣江
03-06 3744
测试案例： 1.使用node_exporters监控文件夹，文件夹内部文件由用户自己输入，为方便看prometheus的图表效果，写了个自动生成脚本gen.sh，用于每隔固定时间生成一个记录。 2.用户开始测试时，手动输入metrics，用于演示alter从 inactive->Pending->Firing 同时，可以演示在altermanager中接收到alter告警。 具体步骤...
node_exporter无法启动处理
关光磊的博客
07-30 2805
node_expoter无法启动 处理
Prometheus客户端节点监控node_exporter
gsls200808的专栏
09-21 1367
linux下的节点监控可以用官方的node_exporter，默认端口是9100 1.下载安装node_exporter 下载和解压 wget https://github.com/prometheus/node_exporter/releases/download/v1.2.2/node_exporter-1.2.2.linux-amd64.tar.gz tar -C /usr/local -zxvf node_exporter-1.2.2.linux-amd64.tar.gz 建立软链接 .
node_exporter-1.2.2.linux-amd64.tar.gz
11-26
node_exporter-1.2.2.linux-amd64.tar.gz是一个开源的软件包，用于在Linux系统上收集和导出各种系统统计数据。它可以监控CPU、内存、磁盘、网络等方面的数据，并以Prometheus格式进行输出。该软件包适用于64位的AMD处理器架构。 要安装node_exporter-1.2.2.linux-amd64.tar.gz，首先需要下载该压缩包，并解压缩至指定的目录。然后可以通过命令行启动该软件，它会在后台运行，并开始收集系统数据。 通过配置Prometheus服务器，可以将node_exporter收集的数据进行存储和可视化。这样就能够实时监控系统的各项指标，及时发现和解决问题。 在使用node_exporter时，需要注意保障系统安全性，并合理配置软件的权限和访问策略，以防止数据泄露或系统被恶意利用。 总的来说，node_exporter-1.2.2.linux-amd64.tar.gz是一个功能强大的系统监控工具，可以帮助管理员有效地管理和维护Linux系统。通过它，可以快速了解系统的运行状况，并及时进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值