前言
我们现在想要达到的效果是以可视化数据来展示 Kubernetes 集群的资源,并且能够实现 HPA(Pod 水平自动扩缩)功能,至于什么是 HPA 可以看我之前的文章, 《K8s-Pod 水平自动扩缩实践(简称HPA)》其实这篇文章已经很好的实现 HPA 功能,但是没有可视化监控数据。
由于 Prometheus 已经集成了 Metrics-Server,所以需要把之前单独部署的 Metrics-Server 给移除即可。
![image-20210723140241545](https://i-blog.csdnimg.cn/blog_migrate/5976df7e4a34e50fdaeef7322f2dcded.png)
下载相关配置文件
GitHub下载地址:https://github.com/prometheus-operator/kube-prometheus
这里需要注意的是根据你部署的 Kubernetes 版本来选择对应的版本号。
![image-20210723140555767](https://i-blog.csdnimg.cn/blog_migrate/26851e177410a7978baa5bf648fdf6af.png)
Kubernetes v1.14.0 之前的版本要选择 release-0.1 版本来部署。
![image-20210723140627725](https://i-blog.csdnimg.cn/blog_migrate/8a0f796c7e16a205416fa2d7b53a35fd.png)
修改配置文件,使用 NodePort 方式访问
grafana-service.yaml 配置文件
[root@k8s-master01 manifests]# pwd
/root/kube-prometheus-release-0.1/manifests
[root@k8s-master01 manifests]# cat grafana-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: grafana
name: grafana
namespace: monitoring
spec:
# 新添加
type: NodePort
ports:
- name: http
port: 3000
targetPort: http
# 新添加
nodePort: 30100
selector:
app: grafana
prometheus-service.yaml 配置文件
[root@k8s-master01 manifests]# cat prometheus-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
prometheus: k8s
name: prometheus-k8s
namespace: monitoring
spec:
# 新添加
type: NodePort
ports:
- name: web
port: 9090
targetPort: web
# 新添加
nodePort: 30200
selector:
app: prometheus
prometheus: k8s
sessionAffinity: ClientIP
alertmanager-service.yaml 配置文件
[root@k8s-master01 manifests]# cat alertmanager-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
alertmanager: main
name: alertmanager-main
namespace: monitoring
spec:
# 新添加
type: NodePort
ports:
- name: web
port: 9093
targetPort: web
# 新添加
nodePort: 30300
selector:
alertmanager: main
app: alertmanager
sessionAffinity: ClientIP
开始构建
[root@k8s-master01 manifests]# pwd
/root/kube-prometheus-release-0.1/manifests
[root@k8s-master01 manifests]# kubectl apply -f .
namespace/monitoring created
....
如果出现如下错误,重新再执行一遍即可。
![image-20210723143345658](https://i-blog.csdnimg.cn/blog_migrate/02abbecac1229b02f9dd1b5ea9005cb8.png)
创建完成之后查看 Pod 状态,全部都在 monitoring 名称空间里,这里需要等待一段时间下载镜像,后面会有个别镜像下载失败,因为镜像仓库在国外,需要我们手动下载。
![image-20210723143857635](https://i-blog.csdnimg.cn/blog_migrate/3604e9a9ff131ce0c803fe08e07aceb5.png)
等待了蛮久的一段时间后,发现只有一个 Pod 镜像下载失败,需要我们手动去对应的 Node 下载这个镜像,镜像名称可以通过 describe 来查看。
![image-20210723144826893](https://i-blog.csdnimg.cn/blog_migrate/0d75ef2da5050ba23708609cb63cc02b.png)
查看 kube-state-metrics 需要的镜像
[root@k8s-master01 ~]# kubectl describe pod kube-state-metrics-69c95c6466-4jxqr -n monitoring
...
Normal BackOff 11m (x2 over 12m) kubelet, k8s-node02 Back-off pulling image "k8s.gcr.io/addon-resizer:1.8.4"
Warning Failed 11m (x3 over 12m) kubelet, k8s-node02 Failed to pull image "k8s.gcr.io/addon-resizer:1.8.4": rpc error: code = Unknown desc = Error response from daemon: Get https://k8s.gcr.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
Normal Pulling 10m (x4 over 13m) kubelet, k8s-node02 pulling image "k8s.gcr.io/addon-resizer:1.8.4"
Warning Failed 5m39s (x6 over 12m) kubelet, k8s-node02 Error: ErrImagePull
Warning Failed 46s (x45 over 12m) kubelet, k8s-node02 Error: ImagePullBackOff
每个节点都下载一下,防止重构后它被分配到另外节点,手动下载还是失败,需要先下载国内的镜像源,再通过 docker tag 来实现。
[root@k8s-node02 ~]# docker pull registry.cn-beijing.aliyuncs.com/minminmsn/addon-resizer:1.8.4
[root@k8s-node02 ~]# docker tag registry.cn-beijing.aliyuncs.com/minminmsn/addon-resizer:1.8.4 k8s.gcr.io/addon-resizer:1.8.4
此时再次查看就已经全部 Running
![image-20210723145521172](https://i-blog.csdnimg.cn/blog_migrate/f526eec3eff0559d97a268c76557d4ef.png)
可以通过命令来查看 Node 和 Pod 相关资源
[root@k8s-master01 ~]# kubectl top node
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
k8s-master01 168m 8% 1422Mi 76%
k8s-node01 108m 5% 1120Mi 60%
k8s-node02 85m 4% 985Mi 52%
[root@k8s-master01 ~]# kubectl top pod -n kube-system
NAME CPU(cores) MEMORY(bytes)
coredns-78d4cf999f-25wzl 2m 16Mi
coredns-78d4cf999f-dc8xs 1m 16Mi
etcd-k8s-master01 13m 99Mi
访问 Dashboard 仪表盘界面
![image-20210723150023848](https://i-blog.csdnimg.cn/blog_migrate/0302c675e263384f5be59bf442092a58.png)
访问各组件 Web 界面
![image-20210723150439031](https://i-blog.csdnimg.cn/blog_migrate/d334b82aa0e4bcb326b070cea4525438.png)
访问 Prometheus
![image-20210723150642602](https://i-blog.csdnimg.cn/blog_migrate/a4bf8577d62f0ee3a091cb2f14cb1548.png)
访问 Grafana 进行配置
http://MasterIP:30100,初始用户/密码都是 admin
![image-20210723150730593](https://i-blog.csdnimg.cn/blog_migrate/29711a28eb5a794fdd1d54b6b6f6108b.png)
添加 Prometheus 数据源
![image-20210723150958193](https://i-blog.csdnimg.cn/blog_migrate/de55b5ae3df3ef035d508b893b190534.png)
添加数据看板
![image-20210723151057913](https://i-blog.csdnimg.cn/blog_migrate/8515b824b5d23eb0daa57b4e871313f3.png)
就可以查看到对应的数据了
![image-20210723151145672](https://i-blog.csdnimg.cn/blog_migrate/e256f97c2837d1974502c1b9871b07ab.png)
HPA 功能测试
首先创建 Pod,直接使用阿里源的 hpa-example 镜像,谷歌的拉取不了
[root@k8s-master01 ~]# kubectl run php-apache --image=registry.cn-beijing.aliyuncs.com/google_registry/hpa-example --requests=cpu=200m --expose --port=80
这个镜像比较大,稍微等一会
![image-20210723152029689](https://i-blog.csdnimg.cn/blog_migrate/83a5d5132c91628b41eea2c517256937.png)
创建对应 HPA
[root@k8s-master01 ~]# kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
![image-20210723152148552](https://i-blog.csdnimg.cn/blog_migrate/83d9384ef9fbff3e76f8c2633f5f880a.png)
开始增加负载进行测试
[root@k8s-master01 ~]# kubectl run -i --tty load-generator --image=busybox /bin/sh/
/# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done
![image-20210723152425671](https://i-blog.csdnimg.cn/blog_migrate/aa5163563cc7b9ea817e612fa3f751c2.png)
此时 Pod 负载持续增加,已经自动扩容到七个 Pod 来应对
![image-20210723152700519](https://i-blog.csdnimg.cn/blog_migrate/9db20cee85dda052a55e07de707d3669.png)
查看 Pod 现在的个数,已经升至九个了
![image-20210723152755928](https://i-blog.csdnimg.cn/blog_migrate/57a05f6a745b4e4f8725f9cffdee6238.png)
开始减压,测试是否自动收缩
![image-20210723152852015](https://i-blog.csdnimg.cn/blog_migrate/14df3c6366c3e57f0ebb5fde73164d60.png)
需要等待较长的时间,已经收缩为最小 Pod 数量
![image-20210723153444974](https://i-blog.csdnimg.cn/blog_migrate/8347f27298eaee27744df21360d8f0b4.png)
到此就完成整套的 K8s 监控系统,全部以实操为主,其他具体的配置、概念、理论可以查阅对应组件的官网,由于时间原因这里就不做赘述。