Prometheus之PromQL

PromQL（Prometheus Query Language）是 Prometheus 内置的数据查询语言。支持用户进行实时的数据查询及聚合操作。

Prometheus 基于指标名称（metrics name）以及附属的标签集（labelset）唯一定义一条时间序列
●指标名称代表着监控目标上某类可测量属性的基本特征标识
●标签则是这个基本特征上再次细分的多个可测量维度

基于 PromQL 表达式，用户可以针对指定的特征及其细分的纬度进行过滤、聚合、统计等运算从而产生期望的计算结果
●PromQL 使用表达式（expression）来表述查询需求
●根据其使用的指标和标签，以及时间范围，表达式的查询请求可灵活地覆盖在一个或多个时间序列的一定范围内的样本之上，甚至是只包含单个时间序列的单个样本

Prometheus 中，每个时间序列都由指标名称（Metric Name）和标签（Label）来唯一标识
格式为：<metric_name>{<label_name>=<label_value>, ...}

●指标名称：通常用于描述系统上要测定的某个特征
例如，prometheus_http_requests_total 表示接收到的 HTTP 请求总数

●标签：键值型数据，附加在指标名称之上，从而让指标能够支持多纬度特征；可选项
例如，prometheus_http_requests_total{code="200"} 和 prometheus_http_requests_total{code="302"} 代表着两个不同的时间序列

●双下划线的标签（例如 __address__ ）是 Prometheus 系统默认标签，是不会显示在 /metrics 页面里面的；

●系统默认标签在 target 页面中也是不显示的，需要鼠标放到 label 字段上才会显示。

__address__    当前 target 实例的套接字地址 <host>:<port>
__scheme__    采集当前 target 上指标数据时使用的协议（http 或 https）
__metrics_path__    采集当前 target 上的指标数据时使用 URI 路径，默认为 /metrics
__param_<name>    传递的 URL 参数中第一个名称为 <name> 的参数的值
    __name__    此标签是标识指标名称的预留标签，能够使用标签选择器对指标名称进行过滤

指标名称和标签的特定组合代表着一个时间序列；指标名称相同，但标签不同的组合分别代表着不同的时间序列；不同的指标名称自然更是代表着不同的时间序列

样本数据格式 

Prometheus 的每个数据样本由两部分组成
●毫秒精度的时间戳
●float64 格式的数据  

PromQL 的数据类型 

PromQL 的表达式中支持 4 种数据类型：
●瞬时向量 (Instant vector): 特定或全部的时间序列集合上，具有相同时间戳的一组样本值
●区间向量 (Range vector): 特定或全部的时间序列集合上，在指定的同一时间范围内的所有样本值
●标量数据 (Scalar): 一个浮点型的数据值
●字符串 (String): 一个字符串，支持使用单引号、双引号进行引用

时间序列选择器

promQL 的查询操作可能需要针对若干个时间序列上的样本数据进行，挑选出目标时间序列是构建表达式时最为关键的一步；

用户可使用向量选择器表达式来挑选出给定指标名称下的所有时间序列或部分时间序列的即时样本值或至过去某个时间范围内的样本值，前者称为瞬时向量选择器，后者称为区间向量选择器。
 

（1）瞬时向量选择器（Instant Vector Selectors） 

瞬时向量选择器可以返回 0 个、1 个或多个时间序列上在给定时间戳（instant）上的各自的一个样本。

瞬时向量选择器由两部分组成：
◆指标名称：用于限定特定指标下的时间序列，即负责过滤指标；可选
◆标签选择器：用于过滤时间序列上的标签；定义在 {} 之中；可选

定义瞬时向量选择器时，以上两个部分应该至少给出一个；因此存在以下三种组合：

◆仅给定指标名称，或在标签名称上使用了空值的标签选择器：返回给定的指标下的所有时间序列各自的即时样本

例如，prometheus_http_requests_total 和 prometheus_http_requests_total{} 的功能相同，都是用于返回这个指标下各时间序列的即时样本

◆仅给定标签选择器：返回所有符合给定的标签选择器的所有时间序列上的即时样本

例如，{code="200", job="prometheus"} ，这样的时间序列可能会有着不同的指标名称
◆指标名称和标签选择器的组合：返回给定的指标下的，且符合给定的标签过滤器的所有时间序列上的即时样本

例如，prometheus_http_requests_total{code="200", job="prometheus"}，用于返回这个指标 code 为 200， 并且 job 为 prometheus 的时间序列的即时样本

标签选择器用于定义标签过滤条件，目前支持如下4种匹配操作符：
=  ：完全相等
!= ： 不相等
=~ ： 正则表达式匹配
!~ ： 正则表达式不匹配

注意事项：
◆匹配到空标签值的标签选择器时，所有未定义该标签的时间序列同样符合条件

例如，prometheus_http_requests_total{handler= ""}，则该指标名称上所有未使用该标签（handler）的时间序列也符合条件
◆正则表达式将执行完全锚定机制，它需要匹配指定的标签的整个值

◆向量选择器至少要包含一个指标名称，或者至少有一个不会匹配到空字符串的标签选择器

例如，{ job=""} 为非法的向量选择器
◆使用 __name__ 做为标签名称，还能够对指标名称进行过滤

例如，{__name__=~".*http_requests_total"} 能够匹配所有以 http_requests_total 为后缀的所有指标

（2）区间向量选择器（Range Vector Selectors） 

区间向量选择器可以返回 0 个、1 个或多个时间序列上在给定时间范值围内的各自的一组样本。
区间向量选择器的不同之处在于，需要通过在瞬时向量选择器表达式后面添加包含在 [] 里的时长来表达需在时间时序上返回的样本所处的时间范围。

时间范围：以当前时间为基准时间点，指向过去一个特定的时间长度；例如，[5m] 是指过去 5 分钟之内。
◆可用的时间单位有 ms（毫秒）、s（秒）、m（分钟）、h（小时）、d（天）、w（周）和 y（年）
◆必须使用整数时间，且能够将多个不同级别的单位进行串联组合，以时间单位由大到小为顺序，例如 1h30m，但不能使用 1.5h

  (3)偏移向量选择器 

前面介绍的选择器默认都是以当前时间为基准时间，偏移修饰器用来调整基准时间，使其往前偏移一段时间。偏移修饰器紧跟在选择器后面，使用关键字 offset 来指定要偏移的量。 

例如，prometheus_http_requests_total offset 5m ，表示获取以 prometheus_http_requests_total 为指标名称的所有时间序列在过去 5 分钟之时的即时样本；
prometheus_http_requests_total[5m] offset 1d ，表示获取距此刻 1 天时间之前的 5 分钟之内的所有样本
#向量表达式使用要点：
●表达式的返回值类型亦是即时向量、范围向量、标题或字符串4种数据类型其中之一，但是，有些使用场景要求表达式返回值必须满足特定的条件，例如：
（1）需要将返回值绘制成图形时，仅支持即时向量类型的数据；
（2）对于诸如 rate、irate 之类的速率函数来说，其要求使用的却又必须是区间向量型的数据

●由于区间向量选择器的返回的是区间向量型数据，它不能用于表达式浏览器中图形绘制功能

●区间向量选择器通常会结合速率类的函数 rate、irate 一同使用

PromQL 的指标类型 

●Counter ：计数器，用于保存单调递增型的数据；例如站点访问次数等。数据单调递增，不支持减少，不能为负值，重启进程后，会被重置回 0 ；
●Gauge ：仪表盘，用于存储有着起伏特征的指标数据，例如内存空闲大小等。数据可变大，可变小；重启进程后，会被重置；
●Histogram ：累积直方图，将时间范围内的数据划分成不同的时间段，并各自评估其样本个数及样本值之和，因而可计算出分位数；
    ◆可用于分析因异常值而引起的平均值过大的问题；
    ◆分位数计算要使用专用的 histogram_quantile 函数；
●Summary ：类似于 Histogram，但会在客户端直接计算并上报分位数；

（1） Counter类型

#获取该指标下 http 请求总数排名前 3 的时间序列
topk(3, prometheus_http_requests_total)

#获取 1 小内，该指标下各时间序列上的 http 总请求数的增长速率
rate(prometheus_http_requests_total[1h]) 

#irate 为高灵敏度函数，用于计算指标的瞬时速率，基于样本范围内的最后两个样本进行计算，相较于 rate 函数来说，irate 更适用于短期时间范围内的变化速率分析。
 
irate(prometheus_http_requests_total[1h])

（2）Gauge类型 

eg:返回该服务器上的CPU温度与2小时之前的差异
delta(cpu_temp_celsius{host="node01"}[2h]) 

eg:基于 2 小时的样本数据，来预测主机可用磁盘空间在 4 个小时之后的剩余情况
predict_linear(node_filesystem_free{job="node"}[2h], 4 * 3600)

(3) Histogram类型

对于 Prometheus 来说，Histogram 会在一段时间范围内对数据进行采样（通常是请求持续时长或响应大小等），并将其计入可配置的 bucket（存储桶）中 ，后续可通过指定区间筛选样本，也可以统计样本总数，最后一般将数据展示为直方图。

Prometheus 取值间隔的划分采用的是累积区间间隔机制，即每个 bucket 中的样本均包含了其前面所有 bucket 中的样本，因而也称为累积直方图。

Histogram 类型的每个指标有一个基础指标名称 <basename>，它会提供多个时间序列：
●<basename>_sum ：所有样本值的总和

●<basename>_count ：总的采样次数，它自身本质上是一个 Counter 类型的指标

●<basename>_bucket{le="<上边界>"} ：观测桶的上边界，即样本统计区间，表示样本值小于等于上边界的所有样本数量
 <basename>_bucket{le="+Inf"} ：最大区间（包含所有样本）的样本数量

 http 请求响应时间 <= 0.005 秒 的请求次数为 10

prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.005"} 10
 http 请求响应时间 <= 0.01 秒 的请求次数为 15

prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.01"} 15
 http 请求响应时间 <= 0.025 秒 的请求次数为 18

prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.025"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.05"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.075"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.1"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.25"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.5"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.75"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="1.0"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="2.5"} 18
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="5.0"} 20
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="7.5"} 20
prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="+Inf"} 20

所有样本值的大小总和，命名为 <basename>_sum

prometheus_http_request_duration_seconds_sum{handler="/metrics"} 10.107670803000001

样本总数，命名为 <basename>_count ，效果与 <basename>_bucket{le="+Inf"} 相同

prometheus_http_request_duration_seconds_count{handler="/metrics"} 20
 注意：
bucket 可以理解为是对数据指标值域的一个划分，划分的依据应该基于数据值的分布。注意后面的样本是包含前面的样本，假设 prometheus_http_request_duration_seconds_bucket{...,le="0.01"} 的值为 10，而 prometheus_http_request_duration_seconds_bucket{...,le="0.05"} 的值为 30 ，那么意味着这 30 个样本中，有 10 个是小于 0.01s 的，其余 20 个采样点的响应时间是介于 0.01s 和 0.05s 之间的。

例如，假设 http 请求响应时间的样本的 9 分位数（quantile=0.9）的上边界为 0.01，即表示小于等于 0.01 的样本值的数量占总体样本值的 90%

histogram_quantile(prometheus_http_request_duration_seconds_bucket{handler="/metrics",le="0.01"}) 0.9

（4）Summary类型

Summary 是一种类似于 Histogram 的指标类型，但它在客户端于一段时间内（默认为 10 分钟）的每个采样点进行统计，计算并存储了分位数数值，Server 端直接抓取相应值即可。

对于每个指标，Summary 以指标名称 <basename> 为前缀，生成如下几个指标序列：
●<basename>_sum ：统计所有样本值之和

●<basename>_count ：统计所有样本总数

●<basename>{quantile="x"} ：统计样本值的分位数分布情况，分位数范围：0 ≤ x ≤ 1

示例：
prometheus_tsdb_wal_fsync_duration_seconds{quantile="0.5"} 0.012352463
prometheus_tsdb_wal_fsync_duration_seconds{quantile="0.9"} 0.014458005
prometheus_tsdb_wal_fsync_duration_seconds{quantile="0.99"} 0.017316173
prometheus_tsdb_wal_fsync_duration_seconds_sum 2.888716127000002
prometheus_tsdb_wal_fsync_duration_seconds_count 216

 从上面的样本中可以得知当前Promtheus Server进行 wal_fsync 操作的总次数为 216 次，耗时 2.888716127000002s。 其中中位数（quantile=0.5）的耗时为 0.012352463s，9分位数（quantile=0.9）的耗时为0.014458005s。

PromQL的语法运用

基础查询

单指标空标签查询 

eg：查询接收到的 HTTP 请求总数 

prometheus_http_requests_total
或
prometheus_http_requests_total{}

单标签查询 

eg：查看所有包含标签（instance="localhost:9090"）的时间序列

{instance="localhost:9090"}

指标加标签组合缩小范围查询

eg：查看http请求总数（实例为本机，code返回码为302）

prometheus_http_requests_total{instance="localhost:9090",code="302"}

时间范围查询 

（1）实时时间范围查询 
 在上述的基础查询案例中， 我们通过<metric name>{label=value}方式进行查询时，返回结果中只会包含该时间序列的最新一个值，这样的结果类型称为瞬时向量（instant vector ）。除了瞬时向量，PromQL也支持返回时间序列在某个时间范围内的一组数据，这种称为范围向量（range vector )。

 eg：查看http请求总数（实例为本机，code返回码为302），查看的时间范围为1分钟内

prometheus_http_requests_total{instance="localhost:9090",code="302"}[1m]

（2）时间位移查询 

在时间序列的查询上，除了以当前时间为基准，也可以使用offset进行时间向前推移的操作。

 eg：查看http请求总数（实例为本机，code返回码为302），要求是五分钟前（瞬时向量）

prometheus_http_requests_total{instance="localhost:9090",code="302"}offset 5m

eg： 查看http请求总数（实例为本机，code返回码为302），要求是五分钟前，并且时间范围为1分钟内

prometheus_http_requests_total{instance="localhost:9090",code="302"}[1m]offset 5m

聚合操作查询

聚合操作符	作用
sum	求和
min	最小值
max	最大值
avg	平均值
stddev	标准差
stdvar	标准方差
count	计数
count_values	对value进行计数
bottomk	后n条时序
topk	前n条时序
quantile	分位数

计算所有http的请求数量总和

sum(prometheus_http_requests_total{})

找到所有http的请求数量最大的时间序列

max(prometheus_http_requests_total{})

求所有http的请求数量的平均值

avg(prometheus_http_requests_total{})

使用topk ，显示value值排名前三的时间序列数据 

topk(3,prometheus_http_requests_total{})

使用bottomk，查看value值排名最后五位的时间序列

bottomk(5,prometheus_http_requests_total{})

通配符和正则表达式匹配标签查询

=	完全相等
!=	不相等
=~	正则表达式匹配
!~	正则表达式不匹配

.	任意一个字符
.*	多个任意字符
.+	一个或者多个任意字符

匹配标签中code不为200的时间序列

prometheus_http_requests_total{code!="200"}

匹配标签handler为以api为开头的时间序列prometheus_http_requests_total{handler=~"/api.+"}
或
prometheus_http_requests_total{handler=~"/api.*"}

 操作符的使用

运算符

 在PromQL的查询中，还可以通过表达式操作符，进行更加复杂的结果查询。其中数据运算符使用的加、减、乘、除等方式，对样本值进行计算，并返回计算后的结果。

PromQL支持的所有数学运算符如下所示：

+ (加法)

- (减法)

* (乘法)

/ (除法)

% (求余)

^ (幂运算)

eg：通过process_virtual_memory_bytes获取到的内存值单位为byte，我们希望转换为GB为单位时，只需要使用下列表达式处理。

process_virtual_memory_bytes/(1024*1024*1024)

比较运算符 

 比较运算符支持用户根据时间序列样本的值，对时间序列进行过滤。

 Prometheus支持的比较运算符如下：

• == (相等)

• != (不相等)

• > (大于)

• < (小于)

• >= (大于等于)

• <= (小于等于)

prometheus_http_requests_total>bool 1000

逻辑运算符

逻辑运算符支持的操作有 and、or、unless（排除）三种，其中and为并集，用于匹配表达式中相同的结果。 unless与and正好相反，匹配结果将会排除两者中相同的样本，只显示其中对方互不包含部分的合集；而or的匹配范围最广，它除了会匹配表达式1所有的数据外，还会匹配表达式2中与其不相同的样本。

eg：http请求量在100到 1000之间的时间序列样本

prometheus_http_requests_total<1000 and prometheus_http_requests_total>100

http请求量在大于100或者小于1000之间的时间序列样本

prometheus_http_requests_total<1000 or prometheus_http_requests_total>100

内置函数 

 Prometheus内置不少函数，通过灵活的应用这些函数，可以更方便的查询及数据格式化.

ceil 函数

ceil函数会将返回结果的值向上取整数。

示例：

ceil(avg(prometheus_http_requests_total{code="200"}))

floor 函数

floor 函数与ceil相反，将会进行向下取整的操作。

示例：

floor(avg(prometheus_http_requests_total{code="200"}))

rate函数

rate函数是使用频率最高，也是最重要的函数之一。rate用于取某个时间区间内每秒的平均增量数，它会以该时间区间内的所有数据点进行统计。rate函数通常作用于Counter类型的指标，用于了解增量情况。

示例：获取http_request_total在2分钟内，平均每秒新增的请求数

rate(prometheus_http_requests_total{handler="/rules"}[1m])

irate函数

相比rate函数，irate提供了更高的灵敏度。irate函数是通过时间区间中最后两个样本数据来计算区间向量的增长速率，从而避免范围内的平均值拉低峰值的情况。

示例：该函数用法与rate相同

irate(prometheus_http_requests_total{handler="/rules"}[1m])

经典查询示例

（1）每台主机 CPU 在最近 5 分钟内的平均使用率

(1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)) * 100

（2）查询 1 分钟的 load average 的时间序列是否超过主机 CPU 数量 2 倍

node_load1 > on (instance) 2 * count (node_cpu_seconds_total{mode="idle"}) by (instance)

（3）计算主机内存使用率
可用内存空间：空闲内存、buffer、cache 指标之和

node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes
已用内存空间：总内存空间减去可用空间

node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)
使用率：已用空间除以总空间

(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes * 100

（4）计算所有 node 节点所有容器总计内存：

sum  by (instance) (container_memory_usage_bytes{instance=~"node*"})/1024/1024/1024

（5）计算 node01 节点最近 1m 所有容器 cpu 使用率：

sum (rate(container_cpu_usage_seconds_total{instance="node01"}[1m])) / sum (machine_cpu_cores{instance="node01"}) * 100
#container_cpu_usage_seconds_total 代表容器占用CPU的时间总和

（6）计算最近 5m 每个容器 cpu 使用情况变化率

sum (rate(container_cpu_usage_seconds_total[5m])) by (container_name)

（7）查询 K8S 集群中最近 1m 每个 Pod 的 CPU 使用情况变化率

sum (rate(container_cpu_usage_seconds_total{image!="", pod_name!=""}[1m])) by (pod_name) 
#由于查询到的数据都是容器相关的，所以最好按照 Pod 分组聚合