Prometheus+Grafana

K8S

1.Prometheus（普罗米修斯）

Prometheus （中文名：普罗米修斯）是由 SoundCloud 开发的开源监控报警系统和时序列数据库(TSDB).自2012年起,许多公司及组织已经采用 Prometheus,并且该项目有着非常活跃的开发者和用户社区.现在已经成为一个独立的开源项目。Prometheus 在2016加入 CNCF ( Cloud Native Computing Foundation ), 作为在 kubernetes 之后的第二个由基金会主持的项目。 Prometheus 的实现参考了Google内部的监控实现，与源自Google的Kubernetes结合起来非常合适。另外相比influxdb的方案，性能更加突出，而且还内置了报警功能。它针对大规模的集群环境设计了拉取式的数据采集方式，只需要在应用里面实现一个metrics接口，然后把这个接口告诉Prometheus就可以完成数据采集了，下图为prometheus的架构图

Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统，不需要任何SDK或者其他的集成过程。这样做非常适合虚拟化环境比如VM或者Docker 。

2.Prometheus可以做什么

在业务层用作埋点系统 Prometheus支持各个主流开发语言（Go，java，python，ruby官方提供客户端，其他语言有第三方开源客户端）。我们可以通过客户端方面的对核心业务进行埋点。如下单流程、添加购物车流程。在应用层用作应用监控系统 一些主流应用可以通过官方或第三方的导出器，来对这些应用做核心指标的收集。如redis,mysql。在系统层用作系统监控 除了常用软件， prometheus也有相关系统层和网络层exporter,用以监控服务器或网络。集成其他的监控 prometheus还可以通过各种exporte，集成其他的监控系统，收集监控数据，如AWS CloudWatch,JMX，Pingdom等等。不要用Prometheus做什么

prometheus也提供了Grok exporter等工具可以用来读取日志，但是prometheus是监控系统，不是日志系统。应用的日志还是应该走ELK等工具栈。

3.Prometheus的特点

1、多维数据模型（时序列数据由metric名和一组key/value组成）
2、灵活的查询语言(PromQl)
3、不依赖分布式存储，单个服务器节点是自主的
4、通过基于HTTP的pull方式采集时序数据
5、可以通过中间网关进行时序列数据推送(pushing)
6、目标服务器可以通过发现服务或者静态配置实现
7、支持多种多样的图表和界面展示，比如Grafana等
8、支持分层和水平联邦

4.prometheus 相关组件

prometheus 相关组件，Prometheus生态系统由多个组件组成，其中许多是可选的
1、Prometheus 主服务,用来抓取和存储时序数据
2、client library 用来构造应用或 exporter 代码 (go,java,python,ruby)
3、push 网关可用来支持短连接任务
4、可视化的dashboard (两种选择,promdash 和 grafana.目前主流选择是 grafana.)
4、一些特殊需求的数据出口(用于HAProxy, StatsD, Graphite等服务)
5、实验性的报警管理端(alartmanager,单独进行报警汇总,分发,屏蔽等 )

二、prometheus与zabbix的区别

zabbix架构

区别

三、prometheus架构分析

1.TSDB

TSDB(Time Series Database)时序列数据库,我们可以简单的理解为一个优化后用来处理时间序列数据的软件，并且数据中的数组是由时间进行索引的。

2.时间序列数据库的特点

大部分时间都是写入操作。
写入操作几乎是顺序添加，大多数时候数据到达后都以时间排序。
写操作很少写入很久之前的数据，也很少更新数据。大多数情况在数据被采集到数秒或者数分钟后就会被写入数据库。
删除操作一般为区块删除， 选定开始的历史时间并指定后续的区块。很少单独删除某 个时间或者分开的随机时间的数据。
基本数据大，一般超过内存大小。一般选取的只是其一小部分且没有规律，缓存几乎不起任何作用。
读操作是十分典型的升序或者降序的顺序读。
高并发的读操作十分常见。

3.prometheus 相关组件

prometheus 相关组件，Prometheus生态系统由多个组件组成，其中许多是可选的

1.prometheus 核心组件

prometheus tcp/9090 主服务,用来抓取和存储时序数据
pushgateway tcp/9091 push 的方式将指标数据推送到该网关
alertmanager tcp/9093 处理报警的报警组件

2.Prometheus官方exporter

node_exporter tcp/9100
haproxy_exporter tcp/9101
statsd_exporter tcp/9102
mysqld_exporter tcp/9104
consul_exporter tcp/9107
graphite_exporter tcp/9108
memcached_exporte tcp/9150
blackbox_exporter tcp/9115

4.Third-party exporter

1.主机指标收集

借助当前主机上的普通户用身份，获取cpu、memory、disk、网络、进程信息。
代表:node exporter

2.软件指标收集

软件所在主机的普通用户身份
软件内的登陆凭证和相应权限
代表: mysql exporter

3.系统指标收集

系统登陆凭证
系统自带metric子系统
代表: cloudwatch exporter

4.Prometheus适用的场景

记录纯数字时间序列方面表现非常好

面向服务器等硬件指标的监控和高动态的面向服务架构的监控

多维度数据收集和强大的数据筛选查询语言适合微服务架构

它的搭建过程对硬件和服务没有很强的依赖关系

Prometheus不适用的场景

Prometheus 是基于 Metric 的监控，不适用于日志（Logs）、事件（Event）、调用链（Tracing）。

Prometheus 默认是 Pull 模型，合理规划你的网络，尽量不要转发。

对于集群化和水平扩展，官方和社区都没有银弹，需要合理选择 Federate、Cortex、Thanos 等方案。

监控系统一般情况下可用性大于一致性，容忍部分副本数据丢失，保证查询请求成功。这个后面说 Thanos 去重的时候会提到。

Prometheus 不一定保证数据准确，这里的不准确一是指 rate、histogram_quantile 等函数会做统计和推断，产生一些反直觉的结果，这个后面会详细展开。二来查询范围过长要做降采样，势必会造成数据精度丢失，不过这是时序数据的特点，也是不同于日志系统的地方。

四、在K8S平台部署prometheus

1、物理机安装方式

ip	角色
192.168.122.50	Prometheus、influxdb
192.168.122.40	Client
192.168.122.20	Granfana

所有服务器指定时间服务器
yum -y install ntpdate
/usr/sbin/ntpdate ntp1.aliyun.com

1，下载安装包

192.168.122.50
wget https://github.com/prometheus/prometheus/releases/download/v2.16.0/prometheus-2.16.0.linux-amd64.tar.gz
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.8.x86_64.rpm

192.168.122.40
[root@Client ~]# wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz

192.168.122.20
wget https://dl.grafana.com/oss/release/grafana-6.1.4-1.x86_64.rpm

2，安装服务

192.168.122.50

安装Prometheus

useradd -s /sbin/nologin prometheus
tar zvxf prometheus-2.16.0.linux-amd64.tar.gz
mv prometheus-2.16.0.linux-amd64 /usr/local/prometheus
chown -R prometheus:prometheus /usr/local/prometheus/

vim /usr/lib/systemd/system/prometheus.service

[Unit]
Description=prometheus
After=network.target 
[Service]
User=prometheus
Group=prometheus
WorkingDirectory=/usr/local/prometheus
ExecStart=/usr/local/prometheus/prometheus
[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable --now prometheus	  # 启动并开启自启		

安装influxdb

rpm -ivh localinstall influxdb-1.7.8.x86_64.rpm
cp /etc/influxdb/influxdb.conf /etc/influxdb/influxdb.conf.default
systemctl enable --now influxdb

[root@localhost ~]# influx
Connected to http://localhost:8086 version 1.7.8
InfluxDB shell version: 1.7.8
> create database prometheus;
> exit

vim /usr/local/prometheus/prometheus.yml
在最后面添加：
remote_write:
  - url: "http://localhost:8086/api/v1/prom/write?db=prometheus"
remote_read:
  - url: "http://localhost:8086/api/v1/prom/read?db=prometheus"

systemctl restart prometheus									# 重启 Prometheus

192.168.122.40

安装 Node_Exporter

tar zxvf node_exporter-0.18.1.linux-amd64.tar.gz
mv node_exporter-0.18.1.linux-amd64 /usr/local/exporter/

vim /usr/lib/systemd/system/node_exporter.service

[Unit]
Description=node_exporter
After=network.target 
[Service]
User=prometheus
Group=prometheus
ExecStart=/usr/local/exporter/node_exporter \
          --web.listen-address=:20001 \
          --collector.systemd \
          --collector.systemd.unit-whitelist=(sshd|nginx).service \
          --collector.processes
[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable --now node_exporter

192.168.122.50

vim /usr/local/prometheus/prometheus.yml

添加
  - job_name: "Client"
    static_configs:
    - targets: ['192.168.122.40:20001']

systemctl restart prometheus

192.168.122.20

安装Grafana

rpm -ivh grafana-6.1.4-1.x86_64.rpm
systemctl enable --now grafana-server
netstat -tlnup | grep 3000

登录Grafana的web界面

http://192.168.122.20:3000/
admin/admin
登陆后需重新设置密码