Prometheus+Grafana+Alertmanager构建企业级监控系统

实验环境：
Prometheus+grafana+alertmanager 安装在 k8s 集群，k8s 环境如下：

k8s 集群： k8s 的控制节点
ip：192.168.200.100
主机名：master1
配置：4vCPU/4Gi 内存

k8s 的工作节点：
ip：192.168.200.101
主机名：node1
配置：4vCPU/4Gi 内存

实验目标：

介绍 k8s 集群中部署 prometheus、grafana、alertmanager，并且配置 prometheus 的动态、静态服 务发现，实现对容器、物理节点、service、pod 等资源指标监控，并在 Grafana 的 web 界面展示 prometheus 的监控指标，然后通过配置自定义告警规则，通过 alertmanager 实现 qq、钉钉、微信报警。Promql 语法、prometheus 数据类型。

1、Prometheus 介绍？

        Prometheus 是一个开源的系统监控和报警系统，现在已经加入到 CNCF 基金会，成为继 k8s 之后第二 个在 CNCF 托管的项目，在 kubernetes 容器管理系统中，通常会搭配 prometheus 进行监控，同时也支持 多种 exporter 采集数据，还支持 pushgateway 进行数据上报，Prometheus 性能足够支撑上万台规模的集 群。

2、Prometheus 特点？
1.多维度数据模型
每一个时间序列数据都由 metric 度量指标名称和它的标签 labels 键值对集合唯一确定：
这个 metric 度量指标名称指定监控目标系统的测量特征（如：http_requests_total- 接收 http 请
求的总计数）。labels 开启了 Prometheus 的多维数据模型：对于相同的度量名称，通过不同标签列表的
结合, 会形成特定的度量维度实例。(例如：所有包含度量名称为/api/tracks 的 http 请求，打上
method=POST 的标签，则形成了具体的 http 请求)。这个查询语言在这些度量和标签列表的基础上进行过
滤和聚合。改变任何度量上的任何标签值，则会形成新的时间序列图。
2.灵活的查询语言（PromQL）
可以对采集的 metrics 指标进行加法，乘法，连接等操作；
3.可以直接在本地部署，不依赖其他分布式存储；
4.通过基于 HTTP 的 pull 方式采集时序数据；
5.可以通过中间网关 pushgateway 的方式把时间序列数据推送到 prometheus server 端；
6.可通过服务发现或者静态配置来发现目标服务对象（targets）。
7.有多种可视化图像界面，如 Grafana 等。
8.高效的存储，每个采样数据占 3.5 bytes 左右，300 万的时间序列，30s 间隔，保留 60 天，消耗
磁盘大概 200G。
9.做高可用，可以对数据做异地备份，联邦集群，部署多套 prometheus，pushgateway 上报数据