K8S部署Prometheus

前言：zabbix与prometheus的区别

• 和Zabbix类似，Prometheus也是一个近年比较火的开源监控框架，和Zabbix不同之处在于Prometheus相对更灵活点，模块间比较解耦，比如告警模块、代理模块等等都可以选择性配置。服务端和客户端都是开箱即用，不需要进行安装。zabbix则是一套安装把所有东西都弄好，很庞大也很繁杂。
• zabbix的客户端agent可以比较方便的通过脚本来读取机器内数据库、日志等文件来做上报。而Prometheus的上报客户端则分为不同语言的SDK和不同用途的exporter两种，比如如果你要监控机器状态、mysql性能等，有大量已经成熟的exporter来直接开箱使用，通过http通信来对服务端提供信息上报(server去pull信息)；而如果你想要监控自己的业务状态，那么针对各种语言都有官方或其他人写好的sdk供你使用，都比较方便，不需要先把数据存入数据库或日志再供zabbix-agent采集。
• zabbix的客户端更多是只做上报的事情，push模式。而Prometheus则是客户端本地也会存储监控数据，服务端定时来拉取想要的数据。
• 界面来说zabbix比较陈旧，而prometheus比较新且非常简洁，简洁到只能算一个测试和配置平台。要想获得良好的监控体验，搭配Grafana还是二者的必走之路。

一、prometheus概述

Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件 Prometheus server 会定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。每个采样数据占3.5 bytes左右，300万的时间序列，30s间隔，保留60天，消耗磁盘大概200G。

每个被监控的主机都可以通过专用的 exporter 程序提供输出监控数据的接口，它会在目标处收集监控数据，并暴露出一个 HTTP接口供 Prometheus server 查询，Prometheus 通过基于 HTTP 的 pull 的方式来(周期性)的采集数据。 如果存在告警规则，则抓取到数据之后会根据规则进行计算，满足告警条件则会生成告警，并发送到 Alertmanager 完成告警的汇总和分发。当被监控的目标有主动推送数据的需求时，可以以 Pushgateway 组件进行接收并临时存储数据，然后等待 Prometheus server 完成数据的采集。

任何被监控的目标都需要事先纳入到监控系统中才能进行时序数据采集、存储、告警和展示，监控目标可以通过(配置信息以静态形式指定)，就是(手动配置)，也可以让 Prometheus 通过服务发现的机制进行(动态管理)。Prometheus 能够直接把 API Server 作为服务发现系统使用，进而动态发现和监控集群中的所有可被监控的对象。 

1、prometheus特性

• 多维的数据模型(基于时间序列的Key、value键值对)
• 灵活的查询和聚合语言PromQL
• 提供本地存储和分布式存储
• 通过基于HTTP和HTTPS的Pull模型采集时间序列数据(pull数据的拉取，时间序列:每段 时间点的数据值指标，持续性的产生。横轴标识时间，纵轴为数据值，一段时间内数值的动态变化，所有的点连线形成大盘式的折线图)
  可利用Pushgateway (Prometheus的可选中间件)实现Push模式
• 可通过动态服务发现或静态配置发现目标机器(通过consul自动发现和收缩)
• 支持多种图表和数据大盘

补充: apen-Falcaon(夜莺)是小米开源的企业级监控工具，用Go语言开发，包括小米、滴滴、美团等在内的互联网公司都在使用它，是一款灵活、可拓展并且高性能的监控方案。

2、prometheus的核心组件

整个Prometheus生态包含多个组件，除了Prometheus server组件其余都是可选的

• Prometheus Server：主要的核心组件，用来收集和存储时间序列数据。
• Client Library:：客户端库，为需要监控的服务生成相应的 metrics 并暴露给 Prometheus server。当 Prometheus server 来 pull 时，直接返回实时状态的 metrics。
• push gateway：主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter。
• Exporters: 用于暴露已有的第三方服务的 metrics 给 Prometheus。
• Alertmanager: 从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie, webhook 等。
  各种支持工具。

组件说明：

(1)Prometheus server：服务核心组件，采用 pull 方式收集 apiserver、scheduler、controller-manager、kubelet 组件数据， 通过 http 协议传输。并存储时间序列数据。

(2)Exporters/Jobs：负责收集不支持Instrumentation的目标对象(host, container…)的性能数据，并通过 HTTP 接口供 Prometheus Server 获取。
●Node-Exporter：用于收集k8s集群中各node节点的物理指标状态数据，如平均负载、CPU、内存、磁盘、网络等资源信息的指标数据，需要部署到所有运算节点。

●Kube-State-Metrics：为prometheus采集k8s资源数据的exporter，通过监听APIServer收集kubernetes集群内资源对象的状态指标数据，例如pod、deployment、service等等。同时它也提供自己的数据，主要是资源采集个数和采集发生的异常次数统计。
需要注意的是kube-state-metrics只是简单的提供一个metrics数据，并不会存储这些指标数据，所以可以使用Prometheus来抓取这些数据然后存储，主要关注的是业务相关的一些元数据，比如Deployment、Pod、副本状态等；调度了多少个replicas？现在可用的有几个？多少个Pod是running/stopped/terminated状态？Pod重启了多少次？有多少job在运行中。

●cadvisor：用来监控容器内部使用资源的信息，比如 CPU、内存、网络I/O、磁盘I/O。

●blackbox-exporter：监控业务容器存活性。

(3)Service Discovery：服务发现，Prometheus支持多种服务发现机制：文件，DNS，Consul，Kubernetes，OpenStack，EC2等等。 基于服务发现的过程并不复杂，通过第三方提供的接口，Prometheus查询到需要监控的Target列表，然后轮训这些Target获取监控数据。

(4)Alertmanager：是一个独立的告警模块，从 Prometheus server 端接收到 alerts 后，会进行去重、分组， 并路由到相应的接收方，发出报警，常见的接收方式有：电子邮件，微信，钉钉等。

(5)Pushgateway：类似一个中转站，Prometheus 的 server 端只会使用 pull 方式拉取数据，但是某些节点因为某些原因只能使用 push 方式推送数据，那么它就是用来接收 push 而来的数据并暴露给 Prometheus 的 server 拉取的中转站。 可以理解成目标主机可以上报短期任务的数据到 Pushgateway，然后 Prometheus server 统一从 Pushgateway 拉取数据。

(6)Grafana：是一个跨平台的开源的度量分析和可视化工具，可以将采集的数据可视化的展示，并及时通知给告警接收方。其官方库中具有丰富的仪表盘插件。

二、运维监控平台设计思路

数据收集模块

数据提取模块(prometheus-TSDB,查询语言是promQL)

监控告警模块(布尔值表达式判断是否需要告警，不成立是健康状态)

• 可以细化为6层

第六层:用户展示管理层   同一用户管理、集中监控、集中维护
第五层:告警事件生成层   实时记录告警事件、形成分析图表(趋势分析、可视化)
第四层:告警规则配置层   告警规则设置、告警伐值设置(定义布尔值表达式，筛选异常状态)
第三层:数据提取层       定时采集数据到监控模块
第二层:数据展示层       数据生成曲线图展示(对时序数据的动态展示)
第一层:数据收集层       多渠道监控数据(网络，硬件，应用，数据，物理环境)

三、prometheus工作流程

1. Prometheus 以 Prometheus Server 为核心，用于收集和存储时间序列数据。Prometheus Server 从监控目标中通过 pull 方式拉取指标数据，或通过 pushgateway 把采集的数据拉取到 Prometheus server 中。
2. Prometheus server 把采集到的监控指标数据通过 TSDB 存储到本地 HDD/SSD 中。
3. Prometheus 采集的监控指标数据按时间序列存储，通过配置报警规则，把触发的报警发送到 Alertmanager。
4. Alertmanager 通过配置报警接收方，发送报警到邮件，微信或者钉钉等。
5. Prometheus 自带的 Web UI 界面提供 PromQL 查询语言，可查询监控数据。
6. Grafana 可接入 Prometheus 数据源，把监控数据以图形化形式展示出。

四、K8S部署prometheus

1、实验环境

控制节点/master01        192.168.160.20
工作节点/node01           192.168.160.40
工作节点/node02           192.168.160.90

2、node-exporter 安装

#创建