1. 概述
Prometheus 和 Grafana 部署完成后,网络正常,配置文件正常,抓取 agent 运行正常,使用 curl 命令获取监控端口数据正常,甚至 Prometheus 内的 targets 列表内显示正常,状态都为 UP,Grafana 数据源配置也是正常通过。
但是 Prometheus 查询界面无法查询出数据,Grafana 展示页面也不显示相关的监控曲线和数据。
prometheus 搜索指标显示 No datapoints found!!!以及 Grafana 上显示都是 N/A!!!no data to show!
2. 排查与异常
排查 Prometheus agent 运行状态,Prometheus Server 运行状态,Grafana Sever 运行状态,一切正常,网络正常,curl 获取数据正常;
结果发现是Prometheus服务端时间与 Grafana web 查询的时间是不一致的,分别为 Mon Oct 12 15:09:09 CST 2020 和 Mon Oct 12 15:16:09 CST 2020
将该时间调整为一致后,Prometheus web 的查询和 Grafana web 展示一切恢复正常
3. 总结
①Prometheus 监控各个节点对时间要求严格,在部署服务之前务必将所有被监控机器(agent)与Prometheus服务端,Grafana web端(这两个部署在一台服务器)的时间进行同步。
②用户登录Grafana,用来查看的机器,时间也要同步,不然Grafana登录进去后,会看到no data to show!