Kube-prometheus(k8s-1.14版本，离线安装)-prometheus和grafana挂载nfs-mysql监控

前提：部署kube-prometheus之前单独在k8s集群上部署过prometheus和grafana，不过因为监测指标过多，导致prometheus总是被oomkill掉，调大使用cpu和内存也不行，而kube-prometheus本身就是高可用prometheus。两者的不同之处还在于添加检测对象上，prometheus需要修改配置文件，然后重启，kube-prometheus需要根据监测服务创建servicemonitor之后自动检测到并添加。

kub-prometheus介绍

kube-prometheus 是一整套监控解决方案，它使用 Prometheus 采集集群指标，Grafana 做展示，包含如下组件：

组件	功能
The Prometheus Operator	以非常简单的在kubernetes集群中部署Prometheus服务，并且提供对kubernetes集群的监控，并且可以配置和管理prometheus
Highly available Prometheus	高可用监控工具
Highly available Alertmanager	高可用告警工具，用于接收 Prometheus 发送的告警信息，它支持丰富的告警通知渠道，而且很容易做到告警信息进行去重，降噪，分组等，是一款前卫的告警通知系统。
node-exporter	用于采集服务器层面的运行指标，包括机器的loadavg、filesystem、meminfo等基础监控，类似于传统主机监控维度的zabbix-agent
grafana	用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具
kube-state-metrics	收集kubernetes集群内资源对象数据，制定告警规则。
Prometheus Adapter for /Kubernetes Metrics APIs	轮询Kubernetes API，并将Kubernetes的结构化信息转换为metrics

其中 k8s-prometheus-adapter 使用 Prometheus 实现了 metrics.k8s.io 和 custom.metrics.k8s.io API，
所以不需要再部署 metrics-server（ metrics-server 通过 kube-apiserver 发现所有节点，然后调用 kubelet APIs（通过 https 接口）获得各节点（Node）和 Pod 的 CPU、Memory 等资源使用情况。）
部署之后可以直接使用kubectl top命令

kube-prometheus安装准备

Kube-Prometheus项目地址：
https://github.com/coreos/kube-prometheus
根据k8s版本下载kube-prometheus版本

使用k8s为1.14版本，所以使用release-0.3
下载本地进入目录kube-prometheus/manifests,执行以下命令查看镜像版本：

grep -riE 'quay.io|k8s.gcr|grafana/' *

prometheus和alertmanager可以cat yaml文件查看具体版本

然后可以写个脚本下载所有镜像以及打包镜像

kube-prometheus离线安装

将kube-prometheus-release-0.3zip文件和镜像压缩包以及传到k8s服务器主节点上，可以将镜像上传到内网镜像仓库或者用ansible或者手动将镜像传到k8s各个机器上解压，

此处注意服务器的架构和下载镜像的架构是否一致，amd和ard架构的镜像是不通用的，否则pod启动会报错

上传之后就可以执行yaml文件

首先我们修改一下alertmanager、grafana、和kube-prometheus的service可以通过集群ip加端口访问

同理。修改prometheus-service.yaml,grafana-service.yaml
可以指定nodePort，也可以不指定。
然后cd kube-prometheus-release-0.3依次执行

kubectl apply -f  ./manifests/setup
kubectl apply -f ./manafests

查看暴露的端口

访问grafana
初始账号密码admin/admin
自带一些k8s指标的面板

访问prometheus

创建之后可能会发现kube-scheduler和kube-controller-manager没有监控，是因为这两者没有暴露service，所以prometheus监控不到
修改步骤
1.cd /etc/kubernetes/manifests
分别修改kube-controller-manager.yaml和Kube-scheduler.yaml，修改之后不用手动更新，k8s会自动更新配置
bind-address删掉
address值为0.0.0.0

然后创建两者的service，endpoint yaml，apply之后，等待prometheus自动监测就行

然后就可以监测到scheduler和controller

prometheus和grafana挂载nfs

peometheus和grafana默认是使用emptydir存储数据，每次pod重启之后数据会丢失

grafana类型为deployment，所以可以直接创建pv和pvc

vim grafana-deployment.yaml
修改name为grafana-storage的volume

- name: grafana-storage
   persistentVolumeClaim: 
     claimName: grafana-pvc  

prometheus类型为statefulset，所有需要用模板创建pvc，这里不详细贴出storageclass的创建。
直接修改prometheus-peometheus.yaml文件
在最后加上
修改之后重新apply prometheus和grafana的yaml文件即可

grafana修改邮件配置以及mysql纳入prometheus监控

grafana配置

进入grafanapod查看，grafana配置文件grafana.ini在/etc/grafana目录下，只需要将配置文件挂载进入即可。
首先在任意目录下copy一份原始grafana.ini文件
修改部分信息

修改之后，根据此文件创建configmap

kubectl create configmap grafana-ini --from-file=./grafana.ini

vi grafana-deployment.yaml

  volumeMounts:     
  - mountPath: /etc/grafana.  #容器内目录
    name: grafana-ini
volumes:
- name: grafana-ini
  configMap: 
    name: grafana-ini #将configmp中的grafana.ini挂载到该目录
  

重启grafana-deployment.yaml

mysql监控

mysql是在k8s集群之外的服务器上搭建，需要安装mysql-exporter，安装过程省略，只记录在prometheus上的操作

首先需要创建一个mysql的service和endpoint，endpoint指向mysql所在的服务器

然后创建一个servicemonitor供prometheus探测到该service

namespqceSelector 需要保证与service所在namespace一致，interval为探测时间，

参考博客：

https://www.cnblogs.com/zhanglianghhh/p/14294615.html

https://soulchild.cn/2623.html