监控系统Prometheus--入门

Prometheus 安装包下载
链接：https://pan.baidu.com/s/1a3cUS3VF8NQyHF6xO7LKBQ?pwd=hxy2
提取码：hxy2

Prometheus 受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。

2016 年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目，同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本，能更好地与容器平台、云平台配合。

Prometheus 作为新一代的云原生监控系统，目前已经有超过650+位贡献者参与到Prometheus 的研发工作上，并且超过120+项的第三方集成。

Prometheus特点

Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警的新模型。 相比于传统监控系统，Prometheus具有以下优点：

易于管理

Prometheus核心部分只有一个单独的二进制文件，不存在任何的第三方依赖(数据库，缓存等等)。唯一需要的就是本地磁盘，因此不会有潜在级联故障的风险。

Prometheus 基于 Pull 模型的架构方式，可以在任何地方（本地电脑，开发环境，测试环境）搭建我们的监控系统。

对于一些复杂的情况，还可以使用Prometheus 服务发现(Service Discovery) 的能力动态管理监控目标。

监控服务的内部运行状态

Pometheus 鼓励用户监控服务的内部状态，基于Prometheus丰富的Client库，用户可以轻松的在应用程序中添加对Prometheus的支持，从而让用户可以获取服务和应用内部真正的运行状态。

强大的数据模型

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外，还包含一组用于描述该样本特征的标签。

强大的查询语言PromQL

Prometheus 内置了一个强大的数据查询语言PromQL。 通过PromQL可以实现对监控数据的查询、聚合。同时PromQL也被应用于数据可视化(如Grafana)以及告警当中。

• 通过PromQL可以轻松回答类似于以下问题：
  • 在过去一段时间中95%应用延迟时间的分布范围？
  • 预测在4小时后，磁盘空间占用大致会是什么情况？
  • CPU占用率前5位的服务有哪些？(过滤)

高效

对于监控系统而言，大量的监控任务必然导致有大量的数据产生。而Prometheus可以高效地处理这些数据，对于单一Prometheus Server实例而言它可以处理：

• 数以百万的监控指标
• 秒处理数十万的数据点

可扩展

可以在每个数据中心、每个团队运行独立的Prometheus Sevrer。Prometheus对于联邦集群的支持，可以让多个Prometheus实例产生一个逻辑集群，当单实例Prometheus Server 处理的任务量过大时，通过使用功能分区(sharding)+联邦集群(federation)可以对
其进行扩展。

易于集成

使用Prometheus可以快速搭建监控服务，并且可以非常方便地在应用程序中进行集成。目前支持：Java，JMX，Python，Go，Ruby，.Net，Node.js等等语言的客户端SDK，基于这些SDK可以快速让应用程序纳入到 Prometheus的监控当中，或者开发自己的监控数据收集程序。

同时这些客户端收集的监控数据，不仅仅支持 Prometheus，还能支持Graphite这些
其他的监控工具。

同时Prometheus还支持与其他的监控系统进行集成：Graphite， Statsd， Collected， Scollector， muini， Nagios 等。 Prometheus社区还提供了大量第三方实现的监控数据采集支持：JMX，CloudWatch，EC2，MySQL，PostgresSQL，Haskell，Bash，SNMP，Consul，Haproxy，Mesos，Bind，CouchDB，Django，Memcached，RabbitMQ，Redis，RethinkDB，Rsyslog 等。

可视化

Prometheus Server 中自带的Prometheus UI，可以方便地直接对数据进行查询，并且支持直接以图形化的形式展示数据。同时 Prometheus 还提供了一个独立的基于Ruby On Rails 的 Dashboard解决方案 Promdash。

最新的Grafana可视化工具也已经提供了完整的Prometheus支持，基于Grafana可以创建更加精美的监控图标。

基于Prometheus提供的API还可以实现自己的监控可视化UI。

开放性

通常来说当我们需要监控一个应用程序时，一般需要该应用程序提供对相应监控系统协议的支持，因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制，对于决策者而言要么你就直接在应用中集成该监控系统的支持，要么就在外部创建单独的服务来适配不同的监控系统。

而对于Prometheus来说，使用Prometheus的client library的输出格式不止支持Prometheus 的格式化数据，也可以输出支持其它监控系统的格式化数据，比如Graphite。 因此你甚至可以在不使用Prometheus的情况下，采用Prometheus的client library来让你的应用程序支持监控数据采集。

Prometheus架构

Prometheus 生态圈组件

• Prometheus Server：主服务器，负责收集和存储时间序列数据
• client libraies：应用程序代码插桩，将监控指标嵌入到被监控应用程序中
• Pushgateway：推送网关，为支持short-lived作业提供一个推送网关
• exporter：专门为一些应用开发的数据摄取组件—exporter，例如：HAProxy、StatsD、
  Graphite 等等。
• Alertmanager：专门用于处理alert的组件

架构理解

Prometheus 既然设计为一个维度存储模型，可以把它理解为一个OLAP系统。

• 存储计算层

  • Prometheus Server，里面包含了存储引擎和计算引擎。
  • Retrieval组件为取数组件，它会主动从Pushgateway或者Exporter拉取指标数据。
  • Service discovery，可以动态发现要监控的目标。
  • TSDB，数据核心存储与查询。
  • HTTP server，对外提供HTTP服务。

• 采集层
  采集层分为两类，一类是生命周期较短的作业，还有一类是生命周期较长的作业。

  • 短作业：直接通过API，在退出时间指标推送给Pushgateway。
  • 长作业：Retrieval组件直接从Job或者Exporter拉取数据。

• 应用层
  应用层主要分为两种，一种是AlertManager，另一种是数据可视化。

  • AlertManager
    对接Pagerduty，是一套付费的监控报警系统。可实现短信报警、5分钟无人ack打
    电话通知、仍然无人ack，通知值班人员Manager…
    Emial，发送邮件
    … …
  • 数据可视化
    Prometheus build-in WebUI
    Grafana
    其他基于API开发的客户端

Prometheus的安装

官网：https://prometheus.io/

安装Prometheus Server

Prometheus 基于Golang编写，编译后的软件包，不依赖于任何的第三方依赖。只需要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动Prometheus Server。

上传安装包

上传prometheus-2.29.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt/module

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv prometheus-2.29.1.linux-amd64 prometheus-2.29.1

修改配置文件 prometheus.yml

[yudan@hadoop102 prometheus-2.29.1]$ vim prometheus.yml

在scrape_configs 配置项下添加配置：

scrape_configs: 
  - job_name: "prometheus"
    static_configs: 
	- targets: ["hadoop102:9090"] 

# 添加 PushGateway 监控配置 
  - job_name: 'pushgateway' 
    static_configs: 
	- targets: ['hadoop102:9091'] 
      labels:
	  instance: pushgateway 
	  
# 添加 Node Exporter 监控配置 
  - job_name: 'node exporter' 
    static_configs: 
	- targets: ['hadoop102:9100', 'hadoop103:9100', 'hadoop104:9100']

配置说明：

• global 配置块：控制Prometheus服务器的全局配置
  • scrape_interval：配置拉取数据的时间间隔，默认为1分钟。
  • evaluation_interval：规则验证（生成alert）的时间间隔，默认为1分钟。
• rule_files 配置块：规则配置文件
• scrape_configs 配置块：配置采集目标相关， prometheus监视的目标。Prometheus
  自身的运行信息可以通过HTTP访问，所以Prometheus可以监控自己的运行数据。
  • job_name：监控作业的名称
  • static_configs：表示静态目标配置，就是固定从某个target拉取数据
  • targets：指定监控的目标，其实就是从哪儿拉取数据。Prometheus 会从http://hadoop202:9090/metrics 上拉取数据。
    Prometheus 是可以在运行时自动加载配置的。启动时需要添加：–web.enable-lifecycle

安装Pushgateway

Prometheus 在正常情况下是采用拉模式从产生metric的作业或者exporter（比如专门监控主机的NodeExporter）拉取监控数据。但是我们要监控的是Flink on YARN作业，想要让Prometheus自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。PushGateway 就是一个中转组件，通过配置Flink on YARN作业将metric推到PushGateway，Prometheus 再从PushGateway拉取就可以了。

上传安装包

上传pushgateway-1.4.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录\

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf pushgateway-1.4.1.linux-amd64.tar.gz -C /opt/module

修改目录名

[yudan@hadoop202 ~] cd /opt/module 
[yudan@hadoop202 module] mv pushgateway-1.4.1.linux-amd64 pushgateway-1.4.1

安装Alertmanager（选择性安装）

上传安装包

上传alertmanager-0.23.0.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudana@hadoop102 software]$ tar -zxvf alertmanager-0.23.0.linux-amd64.tar.gz -C /opt/module 

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv alertmanager-0.23.0.linux-amd64 alertmanager-0.23.0

安装Node Exporter（选择性安装）

在Prometheus 的架构设计中，Prometheus Server主要负责数据的收集，存储并且对外提供数据查询支持，而实际的监控样本数据的收集则是由Exporter完成。因此为了能够监控到某些东西，如主机的CPU使用率，我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址（通常是/metrics）拉取监控样本数据。

Exporter 可以是一个相对开放的概念，其可以是一个独立运行的程序独立于监控目标以外，也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。

为了能够采集到主机的运行指标如CPU, 内存，磁盘等信息。我们可以使用Node Exporter。Node Exporter 同样采用 Golang编写，并且不存在任何的第三方依赖，只需要下载，解压即可运行。可以从https://prometheus.io/download/ 获取最新的node exporter 版本的二进制包。

上传安装包

上传node_exporter-1.2.2.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/module 

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv node_exporter-1.2.2.linux-amd64 node_exporter-1.2.2

• 启动并通过页面查看是否成功
  • 执行./node_exporter
  • 浏览器输入：http://hadoop202:9100/metrics，可以看到当前node exporter 获取到的当前主机的所有监控数据。

节点分发

将解压后的目录分发到要监控的节点

[yudan@hadoop102 module] xsync node_exporter-1.2.2 

修改Prometheus配置文件prometheus.yml，在2.1.3的时候已经添加过配置

- targets: ['hadoop102:9100', 'hadoop103:9100', 'hadoop104:9100']

设置为开机自启

创建service文件

[yudan@hadoop102 module] sudo vim /usr/lib/systemd/system/node_exporter.service

[Unit] 
Description=node_export 
Documentation=https://github.com/prometheus/node_exporter 
After=network.target 

[Service] 
Type=simple 
User=yudan
ExecStart= /opt/module/node_exporter-1.2.2/node_exporter 
Restart=on-failure 

[Install] 
WantedBy=multi-user.target

分发文件

[yudan@hadoop102 module] sudo /home/atguigu/bin/xsync /usr/lib/systemd/system/node_exporter.service

设为开机自启动（所有机器都执行）

[yudan@hadoop102 module] sudo systemctl enable node_exporter.service

启动服务（所有机器都执行）

[yudan@hadoop102 module] sudo systemctl start node_exporter.service

启动 Prometheus Server 、 Pushgateway 和 Alertmanager

Prometheus Server 目录下执行启动命令

[yudan@hadoop102 prometheus-2.29.1]$ nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 & 

Pushgateway 目录下执行启动命令

[yudan@hadoop102 pushgateway-1.4.1]$ nohup ./pushgateway --web.listen-address :9091 > ./pushgateway.log 2>&1 &

在 Alertmanager 目录下启动

[yudan@hadoop102 alertmanager-0.23.0]$ nohup ./alertmanager --config.file=alertmanager.yml > ./alertmanager.log 2>&1 &

打开web 页面查看

• 浏览器输入：http://hadoop202:9090/
• 点击 Status，选中Targets：

• prometheus、pushgateway和node exporter都是up状态，表示安装启动成功：