第1章 技术方案架构图
第2章 Prometheus基础
Prometheus受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。
2016年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目，同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本，能更好地与容器平台、云平台配合。
Prometheus作为新一代的云原生监控系统，目前已经有超过650+位贡献者参与到Prometheus的研发工作上，并且超过120+项的第三方集成。
2.1 Prometheus的特点
Prometheus是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警的新模型。 相比于传统监控系统，Prometheus具有以下优点：
2.1.1 易于管理
-
Prometheus核心部分只有一个单独的二进制文件，不存在任何的第三方依赖(数据库，缓存等等)。唯一需要的就是本地磁盘，因此不会有潜在级联故障的风险。
-
Prometheus基于Pull模型的架构方式，可以在任何地方（本地电脑，开发环境，测试环境）搭建我们的监控系统。
-
对于一些复杂的情况，还可以使用Prometheus服务发现(Service Discovery)的能力动态管理监控目标。
2.1.2 监控服务的内部运行状态
Pometheus鼓励用户监控服务的内部状态，基于Prometheus丰富的Client库，用户可以轻松的在应用程序中添加对Prometheus的支持，从而让用户可以获取服务和应用内部真正的运行状态。
2.1.3 强大的数据模型
所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外，还包含一组用于描述该样本特征的标签。如下所示：
http_request_status{code='200',content_path='/api/path',environment='produment'} =>[value1@timestamp1,value2@timestamp2...]http_request_status{code='200',content_path='/api/path2',environment='produment'} => [value1@timestamp1,value2@timestamp2...]每一条时间序列由指标名称(Metrics Name)以及一组标签(Labels)唯一标识。每条时间序列按照时间的先后顺序存储一系列的样本值。
-
http_request_status：指标名称(Metrics Name)
-
{code='200',content_path='/api/path',environment='produment'}：表示维度的标签，基于这些Labels我们可以方便地对监控数据进行聚合，过滤，裁剪。
-
[value1@timestamp1,value2@timestamp2...]：按照时间的先后顺序 存储的样本值。
2.1.4 强大的查询语言PromQL
Prometheus内置了一个强大的数据查询语言PromQL。 通过PromQL可以实现对监控数据的查询、聚合。同时PromQL也被应用于数据可视化(如Grafana)以及告警当中。
通过PromQL可以轻松回答类似于以下问题：
-
在过去一段时间中95%应用延迟时间的分布范围？
-
预测在4小时后，磁盘空间占用大致会是什么情况？
-
CPU占用率前5位的服务有哪些？(过滤)
2.1.5 高效
对于监控系统而言，大量的监控任务必然导致有大量的数据产生。而Prometheus可以高效地处理这些数据，对于单一Prometheus Server实例而言它可以处理：
-
数以百万的监控指标
-
每秒处理数十万的数据点
2.1.6 可扩展
可以在每个数据中心、每个团队运行独立的Prometheus Sevrer。Prometheus对于联邦集群的支持，可以让多个Prometheus实例产生一个逻辑集群，当单实例Prometheus Server处理的任务量过大时，通过使用功能分区(sharding)+联邦集群(federation)可以对其进行扩展。
2.1.7 易于集成
使用Prometheus可以快速搭建监控服务，并且可以非常方便地在应用程序中进行集成。目前支持：Java，JMX，Python，Go，Ruby，.Net，Node.js等等语言的客户端SDK，基于这些SDK可以快速让应用程序纳入到 Prometheus的监控当中，或者开发自己的监控数据收集程序。
同时这些客户端收集的监控数据，不仅仅支持 Prometheus，还能支持Graphite这些其他的监控工具。
同时Prometheus还支持与其他的监控系统进行集成：Graphite， Statsd， Collected， Scollector， muini， Nagios等。 Prometheus社区还提供了大量第三方实现的监控数据采集支持：JMX，CloudWatch，EC2，MySQL，PostgresSQL，Haskell，Bash，SNMP，Consul，Haproxy，Mesos，Bind，CouchDB，Django，Memcached，RabbitMQ，Redis，RethinkDB，Rsyslog等等。
2.1.8 可视化
-
Prometheus Server中自带的Prometheus UI，可以方便地直接对数据进行查询，并且支持直接以图形化的形式展示数据。同时Prometheus还提供了一个独立的基于Ruby On Rails的Dashboard解决方案 Promdash。
-
最新的Grafana可视化工具也已经提供了完整的Prometheus支持，基于Grafana可以创建更加精美的监控图标。
-
基于Prometheus提供的API还可以实现自己的监控可视化UI。
2.1.9 开放性
通常来说当我们需要监控一个应用程序时，一般需要该应用程序提供对相应监控系统协议的支持，因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制，对于决策者而言要么你就直接在应用中集成该监控系统的支持，要么就在外部创建单独的服务来适配不同的监控系统。
而对于Prometheus来说，使用Prometheus的client library的输出格式不止支持Prometheus的格式化数据，也可以输出支持其它监控系统的格式化数据，比如Graphite。 因此你甚至可以在不使用Prometheus的情况下，采用Prometheus的client library来让你的应用程序支持监控数据采集。
2.2 Prometheus的架构
2.2.1 Prometheus生态圈组件
-
Prometheus Server：主服务器，负责收集和存储时间序列数据
-
client libraies：应用程序代码插桩，将监控指标嵌入到被监控应用程序中
-
Pushgateway：推送网关，为支持short-lived作业提供一个推送网关
-
exporter：专门为一些应用开发的数据摄取组件—exporter，例如：HAProxy、StatsD、Graphite等等。
-
Alertmanager：专门用于处理alert的组件
2.2.2 架构理解
Prometheus既然设计为一个维度存储模型，可以把它理解为一个OLAP系统。
1、存储计算层
-
Prometheus Server，里面包含了存储引擎和计算引擎。
-
Retrieval组件为取数组件，它会主动从Pushgateway或者Exporter拉取指标数据。
-
Service discovery，可以动态发现要监控的目标。
-
TSDB，数据核心存储与查询。
-
HTTP server，对外提供HTTP服务。
2、采集层
-
采集层分为两类，一类是生命周期较短的作业，还有一类是生命周期较长的作业。
-
短作业：直接通过API，在退出时间指标推送给Pushgateway。
-
长作业：Retrieval组件直接从Job或者Exporter拉取数据。
3、应用层
应用层主要分为两种，一种是AlertManager，另一种是数据可视化。
-
AlertManager
对接Pagerduty，是一套付费的监控报警系统。可实现短信报警、5分钟无ack打电话通知、仍然无人ack，通知值班人员Manager，并Emial。
-
数据可视化
Prometheus build-in WebUI
Grafana
其他基于API开发的客户端
第3章 Prometheus的安装
官网：https://prometheus.io/
下载地址：https://prometheus.io/download/
3.1 服务节点部署规划
服务
组件\节点
shdcvfsla1890
shdcvfsla1891
shdcvfsla1892
MySQL
✅
Premetheus
http-server
✅
node-exporter
✅
✅
✅
pushgateway
✅
alertmanager
✅
mysqld_exporter
✅
Grafana
✅
注：MySQL安装不详细展开。
3.2 安装Prometheus Server
Prometheus基于Golang编写，编译后的软件包，不依赖于任何的第三方依赖。只需要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动Prometheus Server。
3.2.1 上传安装包
首先，在官网下载linux系统的prometheus包。
其次，上传prometheus-2.29.1.linux-amd64.tar.gz到虚拟机的/opt/software目录
3.2.2 解压安装包
-
解压到/opt/module目录下
TEST[hadoop@shdcvfsla1890 software]$ tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt/module-
修改目录名
TEST[hadoop@shdcvfsla1890 ~] cd /opt/moduleTEST[hadoop@shdcvfsla1890 module] mv prometheus-2.29.1.linux-amd64 prometheus-2.29.13.2.3 修改配置文件 prometheus.yml
TEST[hadoop@shdcvfsla1890 prometheus-2.29.1]$ vi prometheus.yml在scrape_configs配置项下添加配置：
scrape_configs:# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.- job_name: "prometheus"# metrics_path defaults to '/metrics'# scheme defaults to 'http'.static_configs:- targets: ["shdcvfsla1890:9090"]# 添加 PushGateway 监控配置- job_name: "pushgateway"static_configs:- targets: ["shdcvfsla1890:9091"]labels:instance: pushgateway#添加 Node Exporter 监控配置- job_name: "node exporter"static_configs:- targets: ["shdcvfsla1890:9100","shdcvfsla1891:9100","shdcvfsla1892:9100"]配置说明：
1、global配置块：控制Prometheus服务器的全局配置
-
scrape_interval：配置拉取数据的时间间隔，默认为1分钟。
-
evaluation_interval：规则验证（生成alert）的时间间隔，默认为1分钟。
2、rule_files配置块：规则配置文件
3、scrape_configs配置块：配置采集目标相关， prometheus监视的目标。Prometheus自身的运行信息可以通过HTTP访问，所以Prometheus可以监控自己的运行数据。
-
job_name：监控作业的名称
-
static_configs：表示静态目标配置，就是固定从某个target拉取数据
-
targets：指定监控的目标，其实就是从哪儿拉取数据。Prometheus会从http:// shdcvfsla1890:9090/metrics上拉取数据。
注：Prometheus是可以在运行时自动加载配置的。启动时需要添加：--web.enable-lifecycle
热加载配置文件prometheus.yml命令为：
curl -X POST http://shdcvfsla1890:9090/-/reload3.3 安装Pushgateway
Prometheus在正常情况下是采用拉模式从产生metric的作业或者exporter（比如专门监控主机的NodeExporter）拉取监控数据。但是我们要监控的是Flink on YARN作业，想要让Prometheus自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。PushGateway就是一个中转组件，通过配置Flink on YARN作业将metric推到PushGateway，Prometheus再从PushGateway拉取就可以了。
3.3.1 上传安装包
上传pushgateway-1.4.1.linux-amd64.tar.gz到虚拟机的/opt/software目录
3.3.2 解压安装包
-
解压到/opt/module目录下
TEST[hadoop@shdcvfsla1890 software]$ tar -zxvf pushgateway-1.4.1.linux-amd64.tar.gz -C /opt/module-
修改目录名
TEST[hadoop@shdcvfsla1890 ~] cd /opt/moduleTEST[hadoop@shdcvfsla1890 module] mv pushgateway-1.4.1.linux-amd64 pushgateway-1.4.13.4 安装Alertmanager（选择性安装）
3.4.1 上传安装包
上传alertmanager-0.23.0.linux-amd64.tar.gz到虚拟机的/opt/software目录
3.4.2 解压安装包
-
解压到/opt/module目录下
TEST[hadoop@shdcvfsla1890 software]$ tar -zxvf alertmanager-0.23.0.linux-amd64.tar.gz -C /opt/module-
修改目录名
TEST[hadoop@shdcvfsla1890 ~] cd /opt/moduleTEST[hadoop@shdcvfsla1890 module] mv alertmanager-0.23.0.linux-amd64 alertmanager-0.23.03.5 安装Node Exporter（选择性安装）
在Prometheus的架构设计中，Prometheus Server主要负责数据的收集，存储并且对外提供数据查询支持，而实际的监控样本数据的收集则是由Exporter完成。因此为了能够监控到某些东西，如主机的CPU使用率，我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址（通常是/metrics）拉取监控样本数据。
Exporter可以是一个相对开放的概念，其可以是一个独立运行的程序独立于监控目标以外，也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。
为了能够采集到主机的运行指标如CPU, 内存，磁盘等信息。我们可以使用Node Exporter。Node Exporter同样采用Golang编写，并且不存在任何的第三方依赖，只需要下载，解压即可运行。可以从https://prometheus.io/download/ 获取最新的node exporter版本的二进制包。
3.5.1 上传安装包
上传node_exporter-1.2.2.linux-amd64.tar.gz到虚拟机的/opt/software目录
3.5.2 解压安装包
-
解压到/opt/module目录下
TEST[hadoop@shdcvfsla1890 software]$ tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/module-
修改目录名
TEST[hadoop@shdcvfsla1890 ~] cd /opt/moduleTEST[hadoop@shdcvfsla1890 module] mv node_exporter-1.2.2.linux-amd64 node_exporter-1.2.2-
启动并通过页面查看是否成功
执行./node_exporter
浏览器输入：http://shdcvfsla1890:9100/metrics，可以看到当前node exporter获取到的当前主机的所有监控数据。
3.5.3 节点分发
-
将解压后的目录分发到要监控的节点
TEST[hadoop@shdcvfsla1890 module] xsync node_exporter-1.2.2-
修改Prometheus配置文件prometheus.yml，在2.1.3的时候已经添加过配置
- targets: ["shdcvfsla1890:9100","shdcvfsla1891:9100","shdcvfsla1892:9100"]-
注：xsync脚本参考：
bin/bash# 1. get input args, exit if none input argspcount=$#if ((pcount==0)); thenecho no args;exit;fi# 2. get filenamep1=$1fname=`basename $p1`echo fname=$fname# 3. get absolute pathpdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir# 4. get current usernameuser=`whoami`# 5. sync files to clusterecho ------------------- shdcvfsla1891 10.132.122.152 --------------rsync -av $pdir/$fname $user@10.132.122.152:$pdirecho ------------------- shdcvfsla1892 10.132.122.153 --------------rsync -av $pdir/$fname $user@10.132.122.153:$pdir3.5.4 设置为开机自启并启动
-
创建service文件
TEST[hadoop@shdcvfsla1890 module] sudo vim /usr/lib/systemd/system/node_exporter.service[Unit]Description=node_exportDocumentation=https://github.com/prometheus/node_exporterAfter=network.target[Service]Type=simpleUser=hadoopExecStart= /opt/module/node_exporter-1.2.2/node_exporterRestart=on-failure[Install]WantedBy=multi-user.target-
分发文件
TEST[hadoop@shdcvfsla1890 module] sudo /home/hadoop/bin/xsync /usr/lib/systemd/system/node_exporter.service-
设为开机自启动（所有机器都执行）
TEST[hadoop@shdcvfsla1890 module] sudo systemctl enable node_exporter.service-
启动服务（所有机器都执行）
TEST[hadoop@shdcvfsla1890 module] sudo systemctl start node_exporter.service注：在启动服务前需首先验证ExecStart命令是否可正常执行
3.6 启动Prometheus Server、Pushgateway和Alertmanager
3.6.1 Prometheus Server目录下执行启动命令
TEST[hadoop@shdcvfsla1890 prometheus-2.29.1]$ nohup /opt/module/prometheus-2.29.1/prometheus --config.file=/opt/module/prometheus-2.29.1/prometheus.yml --web.listen-address=:9090 --web.enable-admin-api --web.enable-lifecycle > /opt/module/prometheus-2.29.1/prometheus.log 2>&1 &3.6.2 Pushgateway目录下执行启动命令
TEST[hadoop@shdcvfsla1890 pushgateway-1.4.1]$ nohup /opt/module/pushgateway-1.4.1/pushgateway --web.listen-address :9091 > /opt/module/pushgateway-1.4.1/pushgateway.log 2>&1 &3.6.3 在Alertmanager目录下启动
TEST[hadoop@shdcvfsla1890 alertmanager-0.23.0]$ nohup /opt/module/alertmanager-0.23.0/alertmanager --config.file=/opt/module/alertmanager-0.23.0/alertmanager.yml > /opt/module/alertmanager-0.23.0/alertmanager.log 2>&1 &3.6.4 打开web页面查看
-
浏览器输入：http://shdcvfsla1890:9090/
-
点击 Status，选中Targets：
-
prometheus、pushgateway和node exporter都是up状态，表示安装启动成功
第4章 PromQL介绍
Prometheus通过指标名称（metrics name）以及对应的一组标签（labelset）唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而label则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生新的计算后的一条时间序列。PromQL是Prometheus内置的数据查询语言，其提供对时间序列数据丰富的查询，聚合以及逻辑运算能力的支持。并且被广泛应用在Prometheus的日常应用当中，包括对数据查询、可视化、告警处理当中。可以这么说，PromQL是Prometheus所有应用场景的基础，理解和掌握PromQL是Prometheus入门的第一课。
4.1 基本用法
4.1.1 查询时间序列
当Prometheus通过Exporter采集到相应的监控指标样本数据后，我们就可以通过PromQL对监控样本数据进行查询。
当我们直接使用监控指标名称查询时，可以查询该指标下的所有时间序列。如：
prometheus_http_requests_total等同于：
prometheus_http_requests_total{}该表达式会返回指标名称为prometheus_http_requests_total的所有时间序列：
prometheus_http_requests_total{code="200",handler="alerts",instance="localhost:9090",job="prometheus",method="get"}= (20889@1518096812.326)prometheus_http_requests_total{code="200",handler="graph",instance="localhost:9090",job="prometheus",method="get"}= (21287@1518096812.326)PromQL还支持用户根据时间序列的标签匹配模式来对时间序列进行过滤，目前主要支持两种匹配模式：完全匹配和正则匹配。
-
PromQL支持使用 = 和 != 两种完全匹配模式：
1）通过使用 label=value 可以选择那些标签满足表达式定义的时间序列；
2）反之使用 label!=value 则可以根据标签匹配排除时间序列；
例如，如果我们只需要查询所有prometheus_http_requests_total时间序列中满足标签instance为localhost:9090的时间 序列，则可以使用如下表达式：
prometheus_http_requests_total{instance="localhost:9090"}反之使用 instance!="localhost:9090" 则可以排除这些时间序列：
prometheus_http_requests_total{instance!="localhost:9090"}-
PromQL还可以支持使用正则表达式作为匹配条件，多个表达式之间使用 | 进行分离：
-
使用 label=~regx 表示选择那些标签符合正则表达式定义的时间序列；
-
反之使用 label!~regx 进行排除；
例如，如果想查询多个环节下的时间序列序列可以使用如下表达式：
prometheus_http_requests_total{environment=~"staging|testing|development",method!="GET"}排除用法
prometheus_http_requests_total{environment!~"staging|testing|development",method!="GET"}4.1.2 范围查询
直接通过类似于PromQL表达式httprequeststotal查询时间序列时，返回值中只会包含该时间序列中的最新的一个样本值，这样的返回结果我们称之为瞬时向量。而相应的这样的表达式称之为__瞬时向量表达式。
而如果我们想过去一段时间范围内的样本数据时，我们则需要使用区间向量表达式。区间向量表达式和瞬时向量表达式之间的差异在于在区间向量表达式中我们需要定义时间选择的范围，时间范围通过时间范围选择器 [] 进行定义。 例如，通过以下表达式可以选择最近5分钟内的所有样本数据：
prometheus_http_requests_total{}[5m]该表达式将会返回查询到的时间序列中最近5分钟的所有样本数据：
prometheus_http_requests_total{code="200",handler="alerts",instance="localhost:9090",job="prometheus",method="get"}=[1@1518096812.3261@1518096817.3261@1518096822.3261@1518096827.3261@1518096832.3261@1518096837.325]prometheus_http_requests_total{code="200",handler="graph",instance="localhost:9090",job="prometheus",method="get"}=[4@1518096812.3264@1518096817.3264@1518096822.3264@1518096827.3264@1518096832.3264@1518096837.325]通过区间向量表达式查询到的结果我们称为区间向量。 除了使用m表示分钟以外，PromQL的时间范围选择器支持其它时间单位：
-
s - 秒
-
m - 分钟
-
h - 小时
-
d - 天
-
w - 周
-
y - 年
4.1.3 时间位移操作
在瞬时向量表达式或者区间向量表达式中，都是以当前时间为基准：
prometheus_http_requests_total{} # 瞬时向量表达式，选择当前最新的数据prometheus_http_requests_total{}[5m] # 区间向量表达式，选择以当前时间为基准，5分钟内的数据而如果我们想查询，5分钟前的瞬时样本数据，或昨天一天的区间内的样本数据呢? 这个时候我们就可以使用位移操作，位移操作的关键字为offset。 可以使用offset时间位移操作：
prometheus_http_requests_total{} offset 5mprometheus_http_requests_total{}[1d] offset 1d4.1.4 使用聚合操作
一般来说，如果描述样本特征的标签(label)在并非唯一的情况下，通过PromQL查询数据，会返回多条满足这些特征维度的时间序列。而PromQL提供的聚合操作可以用来对这些时间序列进行处理，形成一条新的时间序列：
# 查询系统所有http请求的总量
sum(prometheus_http_requests_total)# 按照mode计算主机CPU的平均使用时间
avg(node_cpu_seconds_total) by (mode)# 按照主机查询各个主机的CPU使用率
sum(sum(irate(node_cpu_seconds_total{mode!='idle'}[5m])) / sum(irate(node_cpu_ seconds_total [5m]))) by (instance)4.1.5 标量和字符串
除了使用瞬时向量表达式和区间向量表达式以外，PromQL还直接支持用户使用标量(Scalar)和字符串(String)。
-
标量（Scalar）：一个浮点型的数字值
标量只有一个数字，没有时序。 例如：
10需要注意的是，当使用表达式count(prometheus_http_requests_total)，返回的数据类型，依然是瞬时向量。用户可以通过内置函数scalar()将单个瞬时向量转换为标量。
-
字符串（String）：一个简单的字符串值
直接使用字符串，作为PromQL表达式，则会直接返回字符串。
"this is a string"'these are unescaped: \n \\ \t'`these are not unescaped: \n ' " \t`4.1.6 合法的PromQL表达式
所有的PromQL表达式都必须至少包含一个指标名称(例如http_request_total)，或者一个不会匹配到空字符串的标签过滤器(例如{code=”200”})。
因此以下两种方式，均为合法的表达式：
prometheus_http_requests_total # 合法prometheus_http_requests_total{} # 合法{method="get"} # 合法而如下表达式，则不合法：
{job=~".*"} # 不合法同时，除了使用 {label=value} 的形式以外，我们还可以使用内置的 __name__ 标签来指定监控指标名称：
{__name__=~"prometheus_http_requests_total"}# 合法{__name__=~"node_disk_bytes_read|node_disk_bytes_written"} # 合法4.2 PromQL操作符
使用PromQL除了能够方便的按照查询和过滤时间序列以外，PromQL还支持丰富的操作符，用户可以使用这些操作符对进一步的对事件序列进行二次加工。这些操作符包括：数学运算符，逻辑运算符，布尔运算符等等。
4.2.1 数学运算
PromQL支持的所有数学运算符如下所示：
-
+ (加法)
-
- (减法)
-
* (乘法)
-
/ (除法)
-
% (求余)
-
^ (幂运算)
4.2.2 布尔运算
-
Prometheus支持以下布尔运算符如下：
-
== (相等)
-
!= (不相等)
-
>(大于)
-
< (小于)
-
>= (大于等于)
-
<= (小于等于)
-
使用bool修饰符改变布尔运算符的行为
布尔运算符的默认行为是对时序数据进行过滤。而在其它的情况下我们可能需要的是真正的布尔结果。例如，只需要 知道当前模块的HTTP请求量是否>=1000，如果大于等于1000则返回1（true）否则返回0（false）。这时可以使 用bool修饰符改变布尔运算的默认行为。 例如：
prometheus_http_requests_total > bool 1000使用bool修改符后，布尔运算不会对时间序列进行过滤，而是直接依次瞬时向量中的各个样本数据与标量的比较结果 0或者1。从而形成一条新的时间序列。
prometheus_http_requests_total{code="200",handler="query",instance="localhost:9090",job="prometheus",method="get"} 1prometheus_http_requests_total{code="200",handler="query_range",instance="localhost:9090",job="prometheus",method="get"} 0同时需要注意的是，如果是在两个标量之间使用布尔运算，则必须使用bool修饰符
2 == bool 2 # 结果为14.2.3 使用集合运算符
使用瞬时向量表达式能够获取到一个包含多个时间序列的集合，我们称为瞬时向量。 通过集合运算，可以在两个瞬时向量与瞬时向量之间进行相应的集合操作。
目前，Prometheus支持以下集合运算符：
-
and (并且)
-
or (或者)
-
unless (排除)
vector1 and vector2
会产生一个由vector1的元素组成的新的向量。该向量包含vector1中完全匹配vector2 中的元素组成。
vector1 or vector2
会产生一个新的向量，该向量包含vector1中所有的样本数据，以及vector2中没有与 vector1匹配到的样本数据。
vector1 unless vector2
会产生一个新的向量，新向量中的元素由vector1中没有与vector2匹配的元素组成。
4.2.4 操作符优先级
对于复杂类型的表达式，需要了解运算操作的运行优先级。例如，查询主机的CPU使用率，可以使用表达式：
100 * (1 - avg (irate(node_cpu_seconds_total{mode='idle'}[5m])) by(job) )其中irate是PromQL中的内置函数，用于计算区间向量中时间序列每秒的即时增长率。在PromQL操作符中优先级由高到低依次为：
-
^
-
*, /, %
-
+, -
-
==, !=, <=, =, >
-
and, unless
-
or
4.2.5 PromQL聚合操作
Prometheus还提供了下列内置的聚合操作符，这些操作符作用域瞬时向量。可以将瞬时表达式返回的样本数据进行 聚合，形成一个新的时间序列。
-
sum (求和)
-
min (最小值)
-
max (最大值)
-
avg (平均值)
-
stddev (标准差)
-
stdvar (标准差异)
-
count (计数)
-
count_values (对value进行计数)
-
bottomk (后n条时序)
-
topk (前n条时序)
-
quantile (分布统计)
使用聚合操作的语法如下：
<aggr-op>([parameter,] <vector expression>) [without|by (<label list>)]其中只有 count_values , quantile , topk , bottomk 支持参数(parameter)。
without用于从计算结果中移除列举的标签，而保留其它标签。by则正好相反，结果向量中只保留列出的标签，其余标签则移除。通过without和by可以按照样本的问题对数据进行聚合。
例如：
sum(prometheus_http_requests_total) without (instance)等价于
sum(prometheus_http_requests_total) by (code,handler,job,method)如果只需要计算整个应用的HTTP请求总量，可以直接使用表达式：
sum(prometheus_http_requests_total)count_values用于时间序列中每一个样本值出现的次数。count_values会为每一个唯一的样本值输出一个时间序列，并且每一个时间序列包含一个额外的标签。 例如：
count_values("count", prometheus_http_requests_total)topk和bottomk则用于对样本值进行排序，返回当前样本值前n位，或者后n位的时间序列。
获取HTTP请求数前5位的时序样本数据，可以使用表达式：
topk(5, prometheus_http_requests_total)quantile用于计算当前样本数据值的分布情况quantile(φ, express)其中0 ≤ φ ≤ 1。
例如，当φ为0.5时，即表示找到当前样本数据中的中位数：
quantile(0.5, prometheus_http_requests_total)第5章 Prometheus和MySQL集成
使用prometheus监控MySQL有多种方式。
方式一：自定义Exporter方式
方式二：使用非官方提供的MySQL Exporter
方式三：使用官方提供的mysql_exporter（官方支持的更多exporter见：
https://prometheus.io/docs/instrumenting/exporters/）
此处，我们选择官方提供的Exporter方式，以下所称的MySQL_Exporter均为方式三
5.1 MySQL_Exporter简介
mysql_exporter：用于收集MySQL性能信息。
-
使用版本
-
mysqld_exporter 0.12.1
-
官方地址
-
使用文档：https://github.com/prometheus/mysqld_exporter
-
图标模板：https://grafana.com/dashboards/7362
-
下载地址：https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz
注：要求数据库mysql 5.5 以上版本。
5.2 安装MySQL_Exporter
5.2.1 上传压缩包到监控端
上传node_exporter-1.2.2.linux-amd64.tar.gz到shdcvfsla1891的/opt/software目录
5.2.2 解压安装包
-
解压到/opt/module目录下
TEST[hadoop@shdcvfsla1891 software]$ tar -zxvf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /opt/module-
修改目录名
TEST[hadoop@shdcvfsla1891 ~] cd /opt/moduleTEST[hadoop@shdcvfsla1891 module] mv mysqld_exporter-0.12.1.linux-amd64 amd64 mysqld_exporter-0.12.15.2.3 登录mysql为exporter创建账号并授权
首先登陆shdcvfsla1892节点上的MySQL；
CREATE USER 'exporter'@'10.132.122.%' IDENTIFIED BY 'see_teampass';GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'10.132.122.%';flush privileges;5.2.4 创建配置文件
TEST[hadoop@shdcvfsla1891 ~]$ vi /usr/local/mysqld_exporter/.my.cnf内容如下：
[client]host=10.132.122.153port=3306user=exporterpassword=see_teampass注：
1）host字段需要的是ip address，不能用hostname域名
2）mysql密码设置问题：不能带?和@（测试证明issue未完整修复）
见：https://github.com/prometheus/mysqld_exporter/issues/303
5.2.5 测试启动exporter客户端
TEST[hadoop@shdcvfsla1891 mysqld_exporter-0.12.1]$ /opt/module/mysqld_exporter-0.12.1/mysqld_exporter --config.my-cnf=/usr/local/mysqld_exporter/.my.cnf正常启动后，访问http://shdcvfsla1891:9104/metrics，查看是否正常收集到metrics数据
5.2.6 添加至系统服务：
TEST[hadoop@shdcvfsla1891 mysqld_exporter-0.12.1]$ vi /usr/lib/systemd/system/mysqld_exporter.service内容如下：
[Unit]Description=mysqld_exporterAfter=network.target[Service]Type=simpleUser=hadoopExecStart=/opt/module/mysqld_exporter-0.12.1/mysqld_exporter --config.my-cnf=/usr/local/mysqld_exporter/.my.cnfRestart=on-failure[Install]WantedBy=multi-user.target5.2.7 启动添加后的系统服务
TEST[hadoop@shdcvfsla1891 mysqld_exporter-0.12.1]$ sudo systemctl enable mysqld_exporter.serviceTEST[hadoop@shdcvfsla1891 mysqld_exporter-0.12.1]$ sudo systemctl start mysqld_exporter.service5.2.8 网站查看捕获mysql数据
访问：http://shdcvfsla1891:9104/metrics
5.3 引入MySQL_Exporter至Prometheus
5.3.1 在配置文件中添加新的Exporter
首先切换机器至shdcvfsla1890节点；
其次编辑prometheus配置文件；
TEST[hadoop@shdcvfsla1890 prometheus-2.29.1]$ vi prometheus.yml增添内容如下：
#添加 shdcvfsla1892-MySQL 监控配置- job_name: 'mysqld_exporter'static_configs:- targets: ['shdcvfsla1891:9104']labels:instance: shdcvfsla1892-mysql5.3.2 热加载prometheus服务
TEST[hadoop@shdcvfsla1890 prometheus-2.29.1]$ curl -X POST http://shdcvfsla1890:9090/-/reload注：Prometheus是可以在运行时自动加载配置的。启动时需要添加：--web.enable-lifecycle
热加载配置文件prometheus.yml命令为：
curl -X POST http://shdcvfsla1890:9090/-/reload5.3.3 查看MySQL监控是否引入
5.3.4 使用PromSQL查看MySQL监控信息
mysql_global_status_uptime
第6章 Granfana 导入Mysql 监控
grafana是一款采用Go语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库。下载地址：https://grafana.com/grafana/download
6.1 上传Grafana包并解压
-
将grafana-8.1.2.linux-amd64.tar.gz上传至shdcvfsla1890的/opt/software/目录下，解压：
TEST[hadoop@shdcvfsla1890 software]$ tar -zxvf grafana-enterprise-8.1.2.linux-amd64.tar.gz -C /opt/module/6.2 启动Grafana
TEST[hadoop@shdcvfsla1890 grafana-8.1.2]$ nohup /opt/module/grafana-8.1.2/bin/grafana-server web > /opt/module/grafana-8.1.2/grafana.log 2>&1 &打开web：http://shdcvfsla1890:3000,默认用户名和密码：admin
6.3 添加数据源Prometheus
点击配置，点击Data Sources：
点击添加按钮：
找到Prometheus，点击Select
配置Prometheus Server地址：
点击下方的Save&Test：
出现绿色的提示框，表示与Prometheus正常联通：
点击Back返回即可，可以看到Data Sources页面，出现了添加的Prometheus:
6.4 引入Grafana Labs中的MySQL监控模板
DashBoard ID：https://grafana.com/dashboards/7362
输入导入图标ID等待3秒弹出如下，修改后保存
6.5 监控展示
-
-
-
-
2381
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
