k8s学习笔记3-搭建k8s metrics server

已于 2022-07-25 18:10:57 修改
阅读量2.7k 收藏 8
点赞数 2
分类专栏： k8s 文章标签： 学习 kubernetes docker
于 2022-07-25 18:08:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43501172/article/details/125947093
版权

k8s学习笔记3-搭建k8s metrics server

一.介绍

metrics-servery用途：
metric-server主要用来通过aggregate api向其它组件（kube-scheduler、HorizontalPodAutoscaler、Kubernetes集群客户端等）提供集群中的pod和node的cpu和memory的监控指标，弹性伸缩中的podautoscaler就是通过调用这个接口来查看pod的当前资源使用量来进行pod的扩缩容的。
需要注意的是：
1.metric-server提供的是实时的指标（实际是最近一次采集的数据，保存在内存中），并没有数据库来存储
2.这些数据指标并非由metric-server本身采集，而是由每个节点上的cadvisor采集，metric-server只是发请求给cadvisor并将metric格式的数据转换成aggregate api
3.由于需要通过aggregate api来提供接口，需要集群中的kube-apiserver开启该功能（开启方法可以参考官方社区的文档）
关于k8s metrics-server的部署，可以直接看本文章的部署部分，就是将官网中的yaml文件下载下来，然后修改2个两个地方即可，一个是由于网络问题无法下载的镜像，一个是报500错误问题，这2个地方，修改一下，然后直接应用，就可以ok了。

二.原理

Metrics server定时从Kubelet的Summary API(类似/ap1/v1/nodes/nodename/stats/summary)采集指标信息，这些聚合过的数据将存储在内存中，且以metric-api的形式暴露出去。
Metrics server复用了api-server的库来实现自己的功能，比如鉴权、版本等，为了实现将数据存放在内存中吗，去掉了默认的etcd存储，引入了内存存储（即实现Storage interface)。

因为存放在内存中，因此监控数据是没有持久化的，可以通过第三方存储来拓展。
来看下Metrics-Server的架构：
在这里插入图片描述
从 Kubelet、cAdvisor 等获取度量数据，再由metrics-server提供给 Dashboard、HPA 控制器等使用。本质上metrics-server相当于做了一次数据的转换，把cadvisor格式的数据转换成了kubernetes的api的json格式。由此我们不难猜测，metrics-server的代码中必然存在这种先从metric中获取接口中的所有信息，再解析出其中的数据的过程。我们给metric-server发送请求时，metrics-server中已经定期从中cadvisor获取好数据了，当请求发过来时直接返回缓存中的数据。
数据的流转：
在这里插入图片描述

三.部署

yaml文件下载

官方地址是：https://github.com/kubernetes-sigs/metrics-server
最新的版本是v0.6.1

wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.6.1/components.yaml

部署

直接使用如下命令部署

kubectl apply -f components.yaml

因为镜像在国外网站，无法进行拉取镜像，我们首先用docker search一下，看docker hub上有没有镜像，然后逐个去测试，下载，版本要使用v0.6.1

a.镜像问题

1.搜索docker hub上的metrics-server镜像

root@k8s-master1:~# docker search metrics-server
NAME                                     改2个两个地方即可，一个是由于网络问题无法下载的镜像，一个是报500错误问题，这2个地方，修改     DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
mirrorgooglecontainers/metrics-server-amd64                                                   17                   
bitnami/metrics-server                        Bitnami Docker Image for Metrics Server         8                    [OK]
rancher/metrics-server                                                                        5                    
eipwork/metrics-server                                                                        2                    
cytopia/metrics-server-prom                   A Docker image on which Prometheus can scrap…   2                    
rancher/metrics-server-amd64                                                                  2                    
willdockerhub/metrics-server                  sync from k8s.gcr.io/metrics-server/metrics-…   1                    
kanewinter/metrics-server-prom-aws            Added aws-iam-authenticator to cytopia/metri…   1                    
vivareal/metrics-server-exporter              metrics-server exporter                         1                    
radishgz/metrics-server-amd64                 gcr.io/google_containers/metrics-server-amd6…   1                    [OK]
anjia0532/metrics-server-amd64                                                                1                    
htcfive/metrics-server-amd64                  metrics-server-amd64:v0.3.6                     0                    
ibmcom/metrics-server-s390x                                                                   0                    
ibmcom/metrics-server-ppc64le                                                                 0                    
dyrnq/metrics-server                          k8s.gcr.io/metrics-server/metrics-server        0                    
f3n9/metrics-server                           mirror of k8s.gcr.io/metrics-server-amd64:v0…   0                    
ifnoelse/metrics-server-amd64                 metrics-server-amd64                            0                    [OK]
ghouscht/metrics-server-exporter              Export metrics-server metrics to prometheus     0                    
ibmcom/metrics-server-amd64                                                                   0                    
roywangtj/metrics-server-amd64                metrics-server-amd64                            0                    [OK]
ibmcom/metrics-server                                                                         0                    
v5cn/metrics-server                           sync k8s.gcr.io/metrics-server/metrics-serve…   0                    
yametech/metrics-server-amd64                                                                 0                    
cloudnil/metrics-server-amd64                 metrics-server-amd64                            0                    [OK]
carlziess/metrics-server-amd64-v0.2.1         metrics-server-amd64:v0.2.1                     0                    [OK]
root@k8s-master1:~#

2.下载到合适的镜像后，先将其tag一下，然后push到之前搭建的harbor网站上去

root@k8s-master1:~# docker tag willdockerhub/metrics-server:v0.6.1 registry.harbor.com/library/metrics-server:v0.6.1 
root@k8s-master1:~# docker push registry.harbor.com/library/metrics-server:v0.6.1

3.修改下载的components.yaml的文件

root@k8s-master1:~# sed -i s#k8s.gcr.io/metrics-server/metrics-server:v0.6.1#registry.harbor.com/test/metrics-server:v0.6.1#g components.yaml

4.删除之前部署的metrics-server,并且重新部署

root@k8s-master1:~# kubectl delete -f components.yaml 
serviceaccount "metrics-server" deleted
clusterrole.rbac.authorization.k8s.io "system:aggregated-metrics-reader" deleted
clusterrole.rbac.authorization.k8s.io "system:metrics-server" deleted
rolebinding.rbac.authorization.k8s.io "metrics-server-auth-reader" deleted
clusterrolebinding.rbac.authorization.k8s.io "metrics-server:system:auth-delegator" deleted
clusterrolebinding.rbac.authorization.k8s.io "system:metrics-server" deleted
service "metrics-server" deleted
deployment.apps "metrics-server" deleted
apiservice.apiregistration.k8s.io "v1beta1.metrics.k8s.io" deleted
root@k8s-master1:~# kubectl apply -f components.yaml 
serviceaccount/metrics-server created
clusterrole.rbac.authorization.k8s.io/system:aggregated-metrics-reader created
clusterrole.rbac.authorization.k8s.io/system:metrics-server created
rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created
clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created
clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created
service/metrics-server created
deployment.apps/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created
root@k8s-master1:~#

5.查看metrics-server能否能够正常启动，发现无法正常启动，并且报500错误

root@k8s-master1:~# kubectl get pods -n kube-system 
NAME                                  READY   STATUS    RESTARTS        AGE
coredns-74586cf9b6-476cz              1/1     Running   3 (5h32m ago)   26h
coredns-74586cf9b6-trxrm              1/1     Running   4 (5h32m ago)   26h
etcd-k8s-master1                      1/1     Running   3 (5h32m ago)   26h
kube-apiserver-k8s-master1            1/1     Running   3 (5h32m ago)   26h
kube-controller-manager-k8s-master1   1/1     Running   22 (20m ago)    26h
kube-proxy-8gjdf                      1/1     Running   4 (5h19m ago)   26hPU%   MEMORY(bytes)   MEMORY%  
master1   272m         3%     4272Mi          29%      
node1     384m         5%     9265Mi          30%      
node2     421m         5%     14476Mi         48%  
kube-proxy-h5c7j                      1/1     Running   4 (5h32m ago)   26h
kube-proxy-kwf78                      1/1     Running   5 (5h20m ago)   26h
kube-scheduler-k8s-master1            1/1     Running   24 (20m ago)    26h
metrics-server-54f89f765b-t92qm       0/1     Running   0               36s
root@k8s-master1:~# kubectl describe pods -n kube-system metrics-server-54f89f765b-t92qm
........
Events:
  Type     Reason     Age               From               Message
  ----     ------     ----              ----               -------
  Normal   Scheduled  50s               default-scheduler  Successfully assigned kube-system/metrics-server-54f89f765b-t92qm to k8s-node1
  Normal   Pulled     48s               kubelet            Container image "registry.harbor.com/library/metrics-server:v0.6.1" already present on machine
  Normal   Created    48s               kubelet            Created container metrics-server
  Normal   Started    48s               kubelet            Started container metrics-server
  Warning  Unhealthy  9s (x2 over 19s)  kubelet            Readiness probe failed: HTTP probe failed with statuscode: 500
root@k8s-master1:~#

b.500错误

解决方案1：直接忽略证书验证
出现500错误后，先删除components.yaml部署的metrics-server

kubecrl delete -f components.yaml

出现500错误后，修改components.yaml文件，增加参数–kubelet-insecure-tls即可

.....
      containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
        - --kubelet-use-node-status-port
        - --metric-resolution=15s
        - --kubelet-insecure-tls
        image: registry.harbor.com/library/metrics-server:v0.6.1
        imagePullPolicy: IfNotPresent
        livenessProbe:
......

修改好之后，再次应用

root@k8s-master1:~# kubectl apply -f components.yaml 
serviceaccount/metrics-server created
clusterrole.rbac.authorization.k8s.io/system:aggregated-metrics-reader created
clusterrole.rbac.authorization.k8s.io/system:metrics-server created
rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created
clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created
clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created
service/metrics-server created
deployment.apps/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created
root@k8s-master1:~#

解决方案2：
在各个节点修改kubelet的配置文件：vim /var/lib/kubelet/config.yaml,
增加serverTLSBootstrap: true

.......
streamingConnectionIdleTimeout: 0s
syncFrequency: 0s
volumeStatsAggPeriod: 0s
serverTLSBootstrap: true

重启服务：

systemctl restart kubelet.service

查看认证信息：

root@k8s-master1:~# kubectl get csr
NAME        AGE   SIGNERNAME                      REQUESTOR                 REQUESTEDDURATION   CONDITION
csr-2z952   13m   kubernetes.io/kubelet-serving   system:node:k8s-master1   <none>              Pending
csr-56sx7   15m   kubernetes.io/kubelet-serving   system:node:k8s-node2     <none>              Pending
csr-ckts9   14m   kubernetes.io/kubelet-serving   system:node:k8s-node1     <none>              Pending

通过认证： kubectl certificate approve csr-2z952 csr-56sx7 csr-ckts9

root@k8s-master1:~#  kubectl certificate approve csr-2z952 csr-56sx7 csr-ckts9
certificatesigningrequest.certificates.k8s.io/csr-2z952 approved
certificatesigningrequest.certificates.k8s.io/csr-56sx7 approved
certificatesigningrequest.certificates.k8s.io/csr-ckts9 approved
root@k8s-master1:~# kubectl get csr
NAME        AGE   SIGNERNAME                      REQUESTOR                 REQUESTEDDURATION   CONDITION
csr-2z952   16m   kubernetes.io/kubelet-serving   system:node:k8s-master1   <none>              Approved,Issued
csr-56sx7   19m   kubernetes.io/kubelet-serving   system:node:k8s-node2     <none>              Approved,Issued
csr-ckts9   17m   kubernetes.io/kubelet-serving   system:node:k8s-node1     <none>              Approved,Issued
root@k8s-master1:~#

四.验证

1.查看原生apiserver是否有metrics.k8s.io/v1beta1

root@k8s-master1:~# kubectl api-versions|grep metrics
metrics.k8s.io/v1beta1

2.查看metrics server pod是否运行正常

root@k8s-master1:~# kubectl get pods -n=kube-system |grep metrics
metrics-server-654cffbc87-87g2k       1/1     Running   0               5m36s

3.使用kubectl top 命令查看node和pod的cpu以及内存

root@k8s-master1:~# kubectl top nodes
NAME          CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
k8s-master1   55m          5%     1535Mi          81%       
k8s-node1     12m          1%     1233Mi          65%       
k8s-node2     12m          1%     1288Mi          68%       
root@k8s-master1:~# kubectl top pods -n kube-system 
NAME                                  CPU(cores)   MEMORY(bytes)   
coredns-74586cf9b6-476cz              2m           15Mi            
coredns-74586cf9b6-trxrm              2m           17Mi            
etcd-k8s-master1                      17m          71Mi            
kube-apiserver-k8s-master1            62m          347Mi           
kube-controller-manager-k8s-master1   14m          43Mi            
kube-proxy-8gjdf                      1m           9Mi             
kube-proxy-h5c7j                      1m           22Mi            
kube-proxy-kwf78                      1m           9Mi             
kube-scheduler-k8s-master1            4m           15Mi            
metrics-server-654cffbc87-87g2k       3m           13Mi

五.参考资料

1.Kubernetes核心指标监控——Metrics Server
https://www.cnblogs.com/zhangmingcheng/p/15770672.html
2.关于RBAC
https://blog.csdn.net/luanpeng825485697/article/details/88375842

https://blog.csdn.net/qq_35745940/article/details/120693490?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165871012416782391833879%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=165871012416782391833879&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduend~default-1-120693490-null-null.142v33pc_rank_34,185v2control&utm_term=k8s%20rbac&spm=1018.2226.3001.4187
3.关于错误500的解决方案
https://blog.csdn.net/qq_41582883/article/details/114301817

狂奔的蜗牛x
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
K8s（七）：部署、使用 metrics-server
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-02 2万+
🔴 K8s（七）：部署、使用 metrics-server
【云原生之kubernetes】在k8s集群中安装和配置Metrics Server
最新发布
jks212454的博客
12-13 1233
【云原生之kubernetes】在k8s集群中安装和配置Metrics Server
K8s------Metrics-Server资源监控
qq_41582883的博客
03-04 4253
Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。 容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。 Metrics API 只可以查询当前的度量数据，并不保存历史数据。 Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metrics 维护。 必须部署 metrics-s
K8S之 metrics-server 组件
06-17
K8S之 metrics-server 组件
k8s集群安装metrics-server（三）
qq_35151346的博客
10-09 265
1.获取压缩包 wget https://github.com/kubernetes-sigs/metrics-server/archive/v0.3.6.tar.gz 2.版本选择 metrics-server 0.1版本选择1.7+/ 0.2以上版本选择1.8+/ 3.修改metrics-server-deployment.yaml文件 apiVersion: v1 kind: ServiceAccount metadata: name: metrics-server .
k8s-metrics的实现原理以及开发指南
RainMan's love
06-08 2334
所有的metrics相关的服务,都是通过kubelet的api获取相关的metric数据, 然后进行相关的存储(内存存储,golang map实现),然后提供对应的api给client端掉用(通常client端是通过kubernetes的metrics.kubernetes.io/v1beta1发起掉用的,当然也可以自己掉用metrics-server api), 其中metrics-server...
【k8s、云原生】基于metrics-server弹性伸缩
2302_77582029的博客
08-16 1913
【k8s、云原生】基于metrics-server弹性伸缩
k8s集群安装metrics-server
MssGuo的博客
09-03 2017
k8s集群安装metrics-server
Kubernetes核心指标监控——Metrics Server详解
热门推荐
LoveSummer
12-16 5万+
从Kubernetes v1.8 开始，资源使用情况的监控可以通过 Metrics API的形式获取，例如容器CPU和内存使用率。这些度量可以由用户直接访问（例如，通过使用kubectl top命令），或者由集群中的控制器（例如，Horizontal Pod Autoscaler）使用来进行决策，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1.11开始逐渐被废弃。Metrics-Server是集群核心监控数据的聚合器。
K8S 安装 Metric-server
shenyuanhaojie的博客
07-20 1725
metric-server
k8s-gcr-io-metrics-server-metrics-server-v0.4.1.rar
12-14
k8s.gcr.io/metrics-server/metrics-server:v0.4.1 components.yaml 博客地址：https://blog.csdn.net/shenhonglei1234/category_7260434.html
k8s_metrics-server包.rar
07-06
里面有2个包，使用方式见我博客：k8s安装metric server和了解ns
K8S资源对象kube-state-metrics监控模板
01-05
原文链接：https://blog.csdn.net/m0_37814112/article/details/122170537
K8S资源对象监控kube-state-metrics-2.0.0镜像及资源清单文件
12-22
原文链接：https://blog.csdn.net/m0_37814112/article/details/122041607 说明：K8S资源对象监控kube-state-metrics-2.0.0镜像文件及资源清单文件
k8s之Metrics-Server资源监控
yrx420909的博客
05-12 2360
1. metrics-server metrics-server是集群核心监控数据的聚合器，用来替换之前的heapster。 容器相关的metrics主要来自于kubelet内置的cadvisor服务，有了metrics-server之后，用户就可以通过标准的kubernetes API来访问到这些监控数据。 mestrics API只可以查询当前的度量数据，并不保存历史数据。 mestrics API URI为/apis/metrics.k8s.io/,在k8s.io/metrics维护。
kubernetes 部署 metrics-server，提示 no metrics known for pod 解决方案及详细原因分析
kunyus的博客
02-28 6807
给部署添加如下命令行即可： args: - '--kubelet-preferred-address-types=InternalIP' - '--kubelet-insecure-tls'
容器监控实践—Metrics Server
weixin_33843409的博客
01-13 1082
概述 从 v1.8 开始，资源使用情况的监控可以通过 Metrics API的形式获取，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1.11开始逐渐被废弃。 Metrics-Server是集群核心监控数据的聚合器，从 Kubernetes1.8 开始，它作为一个 Deployment对象默认...
Linux实战笔记-----kubernetes资源监控
猴子请来的救兵
08-04 117
一、Metrics-Server部署 Metrics-Server简介： Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。 2.容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。 3.MetricsAPI 只可以查询当前的度量数据，并不保存历史数据。 Metrics API URI 为 /apis/metrics.
k8s metrics-server
06-28
3.可扩展：k8s metrics-server可以轻松地扩展到集群的规模，以便于更好地适应性能监控的需求。 总之，k8s metrics-server是Kubernetes集群内必备的性能指标收集器，以便于运维和开发人员更好地了解集群的性能情况，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

狂奔的蜗牛x

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值