k8s---Grafana ,报警，，cadvisor监控pod

一. 安装Grafana

官方安装文档
https://grafana.com/docs/

功能：调用prometheus的数据，进行更专业的可视化

192.168.7.101

pwd /usr/local/src 

dpkg -i grafana_<VERSION>_amd64.deb 

apt --fix-broken install -y

配置文件

vim /etc/grafana/grafana.ini 
[server] 
# Protocol (http, https, socket) 
protocol = http 

# The ip address to bind to, empty will bind to all interfaces 
http_addr = 0.0.0.0 

# The http port to use 
http_port = 3000

启动grafana

systemctl start grafana-server.service 
systemctl enable grafana-server.service

grafana web界面

添加prometheus数据源

导入模板

导入模板查看web

1. 模板下载地址：

模板可以在左侧栏匹配或搜索相关名称

下载模板

2. 通过模板ID导入

3. 确认模板信息

4. 验证图形信息：

饼图插件未安装，需要提前安装
https://grafana.com/grafana/plugins/grafana-piechart-panel

在线安装

grafana-cli plugins install grafana-piechart-panel 

离线安装：

pwd 
/var/lib/grafana/plugins 

unzip grafana-piechart-panel-v1.3.8-0-g4f34110.zip 

mv grafana-piechart-panel-4f34110 grafana-piechart-panel 

systemctl restart grafana-server

未安装饼图插件

已安装饼图插件

其他监控项图形

四. 监控pod资源–cadvisor

cadvisor由谷歌开源，cadvisor不仅可以搜集一台机器上所有运行的容器信息，还提供基础查询界面和http接口，方便其他组件如Prometheus进行数据抓取，cAdvisor可以对节点机器上的资源及容器进行实时监控和性能数据采
集，包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况。

k8s 1.12之前cadvisor集成在node节点的上kubelet服务中，从1.12版本开始分离为两个组件，因此需要在node节点单独部署cadvisor。
https://github.com/google/cadvisor

1.cadvisor镜像准备

docker load -i cadvisor_v0.33.0.tar.gz 

docker tag gcr.io/google-containers/cadvisor:v0.33.0 

docker push harbor.magedu.net/baseimages/cadvisor:v0.33.0

2.启动cadvisor容器

docker run \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:rw \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/dev/disk/:/dev/disk:ro \
--publish=8080:8080 \
--detach=true \
--name=cadvisor \

3. 验证cadvisor web界面：

访问node节点的cadvisor监听端口：http://192.168.7.110:8080/

4.prometheus采集cadvisor数据

vim /usr/local/prometheus/prometheus.yml 
scrape_configs: 
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. 
  - job_name: 'prometheus' 
	# metrics_path defaults to '/metrics' 
	# scheme defaults to 'http'. 
    static_configs: 
    - targets: ['localhost:9090'] 
    
  - job_name: 'promethues-node' 
    static_configs: 
    - targets: ['192.168.7.110:9100','192.168.7.111:9100'] 

  - job_name: 'prometheus-containers' 
    static_configs: 
    - targets: ["192.168.7.110:8080","192.168.7.111:8080"]

重启prometheus：

systemctl restart prometheus

5.验证prometheus数据

6. grafana添加pod监控模板

395 893 容器模板ID
395模板：

893模板：