prometheus主机查询语法分析

目录

背景及参数

语句和细节

---

背景及参数

主机相关的查询指标包括：CPU、memory、filesystem、network等指标，本文所述的以主机内存使用为例，区分两种主机指标语法的分析。

首先，grafana页面下可看到的主机相关的查询入口有二：k8s集群监控、nodes，截图如下：

拿内存指标来说，集群监控Tab下的数据是主机上所用的容器相关使用的内存；而nodes是基于主机本身而言，即你登入一台主机后执行命令查询到的这台主机的内存使用，包括下图红圈中的这几个参数：

集群监控使用的是container_memory_working_set_bytes指标，主机参数以主机名(kubernetes_io_hostname)查询；

nodes下使用的是上图中的参数，如free参数为node_memory_MemFree，主机参数以主机IP(instance)查询。这两种查询方式不同，查询目的和结果也不同。

语句和细节

平均内存使用率公式如下：

nodes下单个主机（以主机系统本身为基础，只针对这台linux主机）：
((node_memory_MemTotal{instance="192.168.104.101:9100"} - node_memory_MemFree{instance="192.168.104.101:9100"} - node_memory_Buffers{instance="192.168.104.101:9100"} - node_memory_Cached{instance="192.168.104.101:9100"}) / node_memory_MemTotal{instance="192.168.104.101:9100"}) * 100

nodes下所有主机（以主机系统本身为基础，只针对集群下所有linux主机）：
((node_memory_MemTotal{instance=~".*"} - node_memory_MemFree{instance=~".*"} - node_memory_Buffers{instance=~".*"} - node_memory_Cached{instance=~".*"}) / node_memory_MemTotal{instance=~".*"}) * 100

集群监控单个主机（以容器为基础，针对你这台主机上的容器总用量所占内存）：
sum(avg_over_time(container_memory_working_set_bytes{id="/",kubernetes_io_hostname=~"node08"}[60s])) / sum (avg_over_time(machine_memory_bytes{kubernetes_io_hostname=~"node08"}[60s])) * 100

集群监控所有主机（以容器为基础，针对你所有主机上的容器总用量所占内存）：
sum(avg_over_time(container_memory_working_set_bytes{id="/",kubernetes_io_hostname=~".*"}[60s])) / sum (avg_over_time(machine_memory_bytes{kubernetes_io_hostname=~".*"}[60s])) * 100

每句语法中间都有一个/，即求的是百分比，如果需要使用了的数据，那么只取分子即可。值得注意的是：获取主机cpu使用时，以主机IP获取的数据结果是使用百分比，而以主机名获取的cpu数据则是使用的核数。

IP后的端口号9100是node-exporter的端口号。

当然有的人会想，我的grafana下和你的模板不一样，查询的东西也有所区别。这只是导入的grafana模板不同，但不论是什么样的模板，查询的主机信息无非这两种，因此根据你的项目需要来选择使用哪种语法即可，不必拘泥于grafana模板，上面我列出grafana只是讲述我们项目中这种情况的发现过程。

细节：当查询多个主机时，在“”前面需要加~，如果你查询所有主机时只是以“.*”查询，那么会提示no data，如下图：

如果你的平台是以api的方式从普罗米修斯拿监控数据，那么此时接口状态码也为200但不会报错，数据会为空。（已踩坑）