k8s资源监控

最新推荐文章于 2024-07-02 14:37:18 发布

Sun__s

最新推荐文章于 2024-07-02 14:37:18 发布

阅读量597

点赞数

分类专栏： k8s 企业实战文章标签： docker kubernetes linux 运维

本文链接：https://blog.csdn.net/Sun__s/article/details/114301776

版权

企业实战同时被 2 个专栏收录

25 篇文章 1 订阅

订阅专栏

k8s

7 篇文章 0 订阅

订阅专栏

Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。

容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。

Metrics API 只可以查询当前的度量数据，并不保存历史数据。
Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metrics 维护。
必须部署 metrics-server 才能使用该 API，metrics-server 通过调用 Kubelet Summary API 获取数据。

Metrics Server 并不是 kube-apiserver 的一部分，而是通过 Aggregator 这种插件机制，在独立部署的情况下同 kube-apiserver 一起统一对外服务的。
kube-aggregator 其实就是一个根据 URL 选择具体的 API 后端的代理服务器。
在这里插入图片描述

将metrics-server部署配置所需的镜像从官网上拉取下来，再上传至自己的仓库

[root@server1 harbor]# docker pull bitnami/metrics-server:0.4.0
[root@server1 harbor]# docker tag bitnami/metrics-server:0.4.0 reg.westos.org/library/metrics-server:v0.4.0
[root@server1 harbor]# docker push reg.westos.org/library/metrics-server:v0.4.0

从官网上可以下载到最新的部署yaml文件，由于我所拉取的镜像是0.4.0版本的，所以我们下载yaml文件之后需要进行修改，保证镜像与yaml文件中对应

[root@server2 ~]# mkdir metric-server/
[root@server2 ~]# cd metric-server/
[root@server2 metric-server]# wget  https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
[root@server2 metric-server]# vim components.yaml   修改:v0.4.0，
和我所用的镜像版本对应
[root@server2 metric-server]# kubectl apply -f components.yaml

在这里插入图片描述
应用完之后会出现报错，我们对应解决报错即可。

[root@server2 metric-server]# kubectl -n kube-system get pod

在这里插入图片描述
我们需要查看日志，查看错误，解决错误

[root@server2 metric-server]# kubectl logs -n kube-system metrics-server-589fcc5794-xgcnn

错误1：dial tcp: lookup server2 on 10.96.0.10:53: no such host
这是因为没有内网的DNS服务器，所以metrics-server无法解析节点名字。可以直接修改coredns的configmap，讲各个节点的主机名加入到hosts中，这样所有Pod都可以从CoreDNS中解析各个节点的名字。
$ kubectl edit configmap coredns -n kube-system
apiVersion: v1
data:
Corefile: |
…
ready
hosts {
172.25.0.11 server1
172.25.0.12 server2
172.25.0.13 server3
fallthrough
}
kubernetes cluster.local in-addr.arpa ip6.arpa {
报错2：x509: certificate signed by unknown authority
Metric Server 支持一个参数 --kubelet-insecure-tls，可以跳过这一检查，然而官方也明确说了，这种方式不推荐生产使用。
启用TLS Bootstrap 证书签发
在配置文件最后一行加上```bash
[root@server2 metric-server]# vim /var/lib/kubelet/config.yaml
…
serverTLSBootstrap: true
[root@server2 metric-server]# systemctl restart kubelet


```bash
[root@server2 metric-server]# kubectl get csr
[root@server2 metric-server]# kubectl certificate approve csr-5q6xw csr-nht9m csr-vs26q

在这里插入图片描述
可以查询出现cpu和memory状态就说明ok了

[root@server2 metric-server]# kubectl top node
[root@server2 metric-server]# kubectl -n kube-system top pod

在这里插入图片描述

错误3 也有可能会遇到以下错误，按照下面提示解决
Error from server (ServiceUnavailable): the server is currently unable to handle the request (get nodes.metrics.k8s.io)
如果metrics-server正常启动，没有错误，应该就是网络问题。修改metrics-server的Pod 网络模式：
hostNetwork: true

[root@server1 harbor]# docker pull kubernetesui/metrics-scraper:v1.0.6
[root@server1 harbor]# docker tag kubernetesui/metrics-scraper:v1.0.6 reg.westos.org/kubernetesui/metrics-scraper:v1.0.6
[root@server1 harbor]# docker push reg.westos.org/kubernetesui/metrics-scraper:v1.0.6
[root@server1 harbor]# docker pull kubernetesui/dashboard:v2.2.0
[root@server1 harbor]# docker tag kubernetesui/dashboard:v2.2.0 reg.westos.org/kubernetesui/dashboard:v2.2.0
[root@server1 harbor]# docker push reg.westos.org/kubernetesui/dashboard:v2.2.0

[root@server2 ~]# mkdir dashboard/
[root@server2 ~]# cd dashboard/
[root@server2 dashboard]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml
[root@server2 dashboard]# kubectl apply -f recommended.yaml

注意两个镜像名称
在这里插入图片描述

[root@server2 dashboard]# kubectl -n kubernetes-dashboard describe sa kubernetes-dashboard
[root@server2 dashboard]# kubectl describe secrets  kubernetes-dashboard-token-nwnwc -n kubernetes-dashboard

在这里插入图片描述

将上面的token输入网址就可以进入
在这里插入图片描述

HPA

官网：https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-autoscale-walkthrough/
HPA伸缩过程：
收集HPA控制下所有Pod最近的cpu使用情况（CPU utilization）
对比在扩容条件里记录的cpu限额（CPUUtilization）
调整实例数（必须要满足不超过最大/最小实例数）
每隔30s做一次自动扩容的判断
CPU utilization的计算方法是用cpu usage（最近一分钟的平均值，通过metrics可以直接获取到）除以cpu request（这里cpu request就是我们在创建容器时制定的cpu使用核心数）得到一个平均值，这个平均值可以理解为：平均每个Pod CPU核心的使用占比。

HPA进行伸缩算法：
计算公式：TargetNumOfPods = ceil(sum(CurrentPodsCPUUtilization) / Target)ceil()表示取大于或等于某数的最近一个整数每次扩容后冷却3分钟才能再次进行扩容，而缩容则要等5分钟后。
当前Pod Cpu使用率与目标使用率接近时，不会触发扩容或缩容：
触发条件：avg(CurrentPodsConsumption) / Target >1.1 或 <0.9

[root@server2 ~]# mkdir hpa/
[root@server2 ~]# cd hpa/
[root@server2 hpa]# vim hpa.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: php-apache
spec:
  selector:
    matchLabels:
      run: php-apache
  replicas: 1
  template:
    metadata:
      labels:
        run: php-apache
    spec:
      containers:
      - name: php-apache
        image: hpa-example
        ports:
        - containerPort: 80
        resources:
          limits:
            cpu: 500m
          requests:
            cpu: 200m

---

apiVersion: v1
kind: Service
metadata:
  name: php-apache
  labels:
    run: php-apache
spec:
  ports:
  - port: 80
  selector:
    run: php-apache

[root@server2 hpa]# kubectl apply -f hpa.yaml
[root@server2 hpa]# kubectl describe svc php-apache
[root@server2 hpa]# curl 10.108.66.200

在这里插入图片描述

[root@server2 hpa]# kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
[root@server2 hpa]# kubectl get hpa

在这里插入图片描述

[root@server2 hpa]# kubectl run -i --tty load-generator --rm --image=busybox --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

在这里插入图片描述

[root@server2 hpa]# vim hpa-v2.yaml 
apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: php-apache
spec:
  maxReplicas: 10
  minReplicas: 1
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: php-apache
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        averageUtilization: 60
        type: Utilization
  - type: Resource
    resource:
      name: memory
      target:
        averageValue: 50Mi
        type: AverageValue

[root@server2 hpa]# kubectl apply -f hpa-v2.yaml
[root@server2 hpa]# kubectl get hpa
[root@server2 hpa]# kubectl get pod

在这里插入图片描述

Hpa会根据Pod的CPU使用率动态调节Pod的数量。

HELM

Helm是Kubernetes 应用的包管理工具，主要用来管理 Charts，类似Linux系统的yum。

Helm Chart 是用来封装 Kubernetes 原生应用程序的一系列 YAML 文件。可以在你部署应用的时候自定义应用程序的一些 Metadata，以便于应用程序的分发。

对于应用发布者而言，可以通过 Helm 打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。

对于使用者而言，使用 Helm 后不用需要编写复杂的应用部署文件，可以以简单的方式在 Kubernetes 上查找、安装、升级、回滚、卸载应用程序。
在这里插入图片描述
Helm V3 与 V2 最大的区别在于去掉了tiller：

Helm当前最新版本 v3.1.0 官网：https://helm.sh/docs/intro/

Helm安装：

[root@server2 ~]# mkdir helm
[root@server2 ~]# cd helm/
get helm-v3.4.1-linux-amd64.tar.gz
[root@server2 helm]# tar zxf helm-v3.4.1-linux-amd64.tar.gz
[root@server2 helm]# cd linux-amd64/
[root@server2 linux-amd64]# cp helm /usr/local/bin/
[root@server2 linux-amd64]# helm env

[root@server2 ~]# helm repo add dandydev https://dandydeveloper.github.io/charts
[root@server2 helm]# helm pull dandydev/redis-ha
[root@server2 helm]# tar axf redis-ha-4.12.9.tgz
[root@server2 helm]# cd redis-ha/
[root@server2 redis-ha]# vim values.yaml

在这里插入图片描述

本地仓库里需要的镜像
[root@server1 harbor]# docker pull  redis:6.0.7-alpine
[root@server1 harbor]# docker tag redis:6.0.7-alpine  reg.westos.org/library/redis:6.0.7-alpine
[root@server1 harbor]# docker push reg.westos.org/library/redis:6.0.7-alpine

在这里插入图片描述

将存储位置指向默认分配
[root@server2 redis-ha]# kubectl patch storageclass managed-nfs-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

在这里插入图片描述

[root@server2 redis-ha]# helm install redis-ha .
[root@server2 redis-ha]# kubectl get pod -w

会慢慢运行起来,等待全部运行起来即可
在这里插入图片描述

[root@server2 redis-ha]# kubectl exec -it redis-ha-server-0 sh -n default 
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
Defaulting container name to redis.
Use 'kubectl describe pod/redis-ha-server-0 -n default' to see all of the containers in this pod.
/data $ redis-cli
127.0.0.1:6379> info

这里我们看到master是0
在这里插入图片描述
当我们把0的pod删除之后，再次登陆一个查看master会调度到哪一个

[root@server2 redis-ha]# kubectl delete pod redis-ha-server-0
[root@server2 redis-ha]# kubectl exec -it redis-ha-server-1 sh -n default
/data $ redis-cli 
127.0.0.1:6379> info

这时我们看到现在1已经成为了master
在这里插入图片描述

手动创建

[root@server2 ~]# cd helm/
[root@server2 helm]# helm create mychart
[root@server2 helm]# tree mychart/

在这里插入图片描述

[root@server2 helm]# cd mychart/
[root@server2 mychart]# vim Chart.yaml
[root@server2 mychart]# vim values.yaml

检测是否有错误

[root@server2 mychart]# cd ..
[root@server2 helm]# helm lint mychart/

在这里插入图片描述
将应用打包

[root@server2 helm]# helm package mychart/
[root@server2 helm]# helm install demo mychart-0.1.0.tgz

在这里插入图片描述

[root@server2 helm]# helm history demo
[root@server2 helm]# kubectl get pod

在这里插入图片描述

更新

[root@server2 helm]# helm upgrade demo mychart-0.1.0.tgz --set replicaCount=2

在这里插入图片描述

上传

get helm-push_0.9.0_linux_amd64.tar.gz
[root@server2 helm]# helm env   //获取插件目录

在这里插入图片描述
安装helm-push插件：

[root@server2 helm]# mkdir /root/.local/share/helm/plugins/push -p
[root@server2 helm]# tar zxf helm-push_0.9.0_linux_amd64.tar.gz -C /root/.local/share/helm/plugins/push
[root@server2 helm]# cd /etc/docker/certs.d/reg.westos.org/
[root@server2 reg.westos.org]# cp ca.crt /etc/pki/ca-trust/source/anchors/
[root@server2 reg.westos.org]# update-ca-trust 
[root@server2 reg.westos.org]# cd ~/helm/
[root@server2 helm]# helm repo add sun https://reg.westos.org/chartrepo/charts
[root@server2 helm]# helm repo list

在这里插入图片描述

[root@server2 helm]# helm push mychart-0.1.0.tgz sun --insecure -u admin -p westos
[root@server2 helm]# helm repo update
[root@server2 helm]# helm search repo mychart

在这里插入图片描述
查看上传的mychart应用：

[root@server2 ~]# helm uninstall demo
[root@server2 ~]# helm install demo sun/mychart --set replicaCount=2

在这里插入图片描述

[root@server2 ~]# kubectl get pod
[root@server2 ~]# kubectl get svc

在这里插入图片描述
访问 svc分配的ip地址，查看是否负载均衡

[root@server2 ~]# curl 10.106.96.27
[root@server2 ~]# curl 10.106.96.27/hostname.html
demo-mychart-8568b558d7-bsfth
[root@server2 ~]# curl 10.106.96.27/hostname.html
demo-mychart-8568b558d7-ldh25

在这里插入图片描述

[root@server2 mychart]# helm upgrade demo sun/mychart --set image.tag=v2
[root@server2 mychart]# curl 10.106.96.27

在这里插入图片描述
修改版本信息

[root@server2 mychart]# vim values.yaml
[root@server2 mychart]# vim Chart.yaml

在这里插入图片描述

打包：

[root@server2 helm]# helm  package mychart/

在这里插入图片描述
上传

[root@server2 helm]# helm push mychart-0.2.0.tgz sun --insecure -u admin -p westos
[root@server2 helm]# helm upgrade demo sun/mychart

在这里插入图片描述

[root@server2 helm]# kubectl -n ingress-nginx get all

在这里插入图片描述
在真机访问的时候需要做好本地解析

[root@Sun_s Desktop]# curl demo.westos.org
[root@Sun_s Desktop]# curl demo.westos.org/hostname.html

在这里插入图片描述

[root@server2 helm]# helm upgrade demo sun/mychart --set replicaCount=3
[root@server2 helm]# kubectl get pod

在这里插入图片描述

[root@server2 helm]# helm history demo

在这里插入图片描述
回滚：

[root@server2 helm]# helm rollback demo 1 
[root@server2 helm]# kubectl get svc
[root@server2 helm]# curl 10.106.96.27
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@server2 helm]# curl 10.106.96.27/hostname.html

回滚成功：
在这里插入图片描述

部署metrics-server

[root@server1 harbor]# docker pull bitnami/metrics-server:0.4.2-debian-10-r0
[root@server1 harbor]# docker tag bitnami/metrics-server:0.4.2-debian-10-r0 reg.westos.org/bitnami/metrics-server:0.4.2-debian-10-r0
[root@server1 harbor]# docker push reg.westos.org/bitnami/metrics-server:0.4.2-debian-10-r0

[root@server2 ~]# cd metric-server/
[root@server2 metric-server]# kubectl delete -f components.yaml
[root@server2 ~]# cd helm/metrics-server/
[root@server2 metrics-server]# kubectl create namespace metrics-server
[root@server2 metrics-server]# vim values.yaml 
[root@server2 metrics-server]# helm install metrics-server . -n metrics-server

在这里插入图片描述

[root@server2 metrics-server]# kubectl -n kube-system edit cm coredns

在这里插入图片描述

[root@server2 metrics-server]# kubectl -n metrics-server get pod
[root@server2 metrics-server]# kubectl -n metrics-server delete pod metrics-server-777f7bd69b-nc9bs

在这里插入图片描述
让它重载以下

[root@server2 metrics-server]# kubectl -n kube-system get pod | grep coredns | awk '{system("kubectl -n kube-system delete pod "$1"")}'
[root@server2 metrics-server]# kubectl -n metrics-server get pod

在这里插入图片描述

[root@server2 metrics-server]# kubectl top node
[root@server2 metrics-server]# kubectl -n metrics-server get pod

在这里插入图片描述

部署kubeapps应用

为Helm提供web UI界面管理：

[root@server2 helm]# helm repo add stable http://mirror.azure.cn/kubernetes/charts/
[root@server2 helm]# helm  pull bitnami/kubeapps
[root@server2 helm]# tar zxf kubeapps-5.2.2.tgz
[root@server2 helm]# cd kubeapps/

在这里插入图片描述

[root@server2 kubeapps]# cd charts/postgresql/
[root@server2 postgresql]# vim values.yaml

在这里插入图片描述

[root@server1 mnt]# docker load -i kubeapps-2.2.1.tar
[root@server1 mnt]# docker images |grep reg.westos.org/bitnami | awk '{system("docker push "$1":"$2"")}'

[root@server2 postgresql]# cd ..
[root@server2 charts]# cd ..
[root@server2 kubeapps]# helm install kubeapps -n kubeapps .

在这里插入图片描述
访问：http://kubeapps.westos.org 注意：注意做好本地解析

[root@server2 kubeapps]# kubectl create serviceaccount kubeapps-operator -n kubeapps
[root@server2 kubeapps]# kubectl create clusterrolebinding kubeapps-operator --clusterrole=cluster-admin --serviceaccount=kubeapps:kubeapps-operator
[root@server2 kubeapps]# kubectl -n kubeapps get sa
[root@server2 kubeapps]# kubectl -n kubeapps describe sa kubeapps-operator

在这里插入图片描述
获取token

[root@server2 kubeapps]# kubectl -n kubeapps describe secrets kubeapps-operator kubeapps-operator-token-v5zlj

在这里插入图片描述
将token输入登陆即可

[root@server2 kubeapps]# kubectl -n kube-system edit cm coredns
之后需要把两个dns pod删掉，重载以下
[root@server2 kubeapps]# kubectl -n kube-system delete pod coredns-7f89b7bc75-6k74j coredns-7f89b7bc75-6npvv

在这里插入图片描述