kubernetes(k8s) 学习 (十六) Metrics-Server+Dashboard实现资源监控

Metrics-Server简介

Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。

容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。

Metrics API 只可以查询当前的度量数据，并不保存历史数据。

Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metrics 维护。
必须部署 metrics-server 才能使用该 API，metrics-server 通过调用 Kubelet Summary API 获取数据。

示例：

http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodes
http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodes/<node-name>
http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/namespace/<namespace-name>/pods/<pod-name>

Metrics Server 并不是 kube-apiserver 的一部分，而是通过 Aggregator 这种插件机制，在独立部署的情况下同 kube-apiserver 一起统一对外服务的。

kube-aggregator 其实就是一个根据 URL 选择具体的 API 后端的代理服务器。

Metrics-server属于Core metrics(核心指标)，提供API metrics.k8s.io，仅提供Node和Pod的CPU和内存使用情况。
而其他Custom Metrics(自定义指标)由Prometheus等组件来完成。

Metrics-server部署

资源下载：https://github.com/kubernetes-incubator/metrics-server

$ git clone https://github.com/kubernetes-incubator/metrics-server
$ cd metrics-server
$ kubectl apply -f deploy/kubernetes

部署后还有不少坑需要填

开始填坑

部署后查看Metrics-server的Pod日志：

错误1：dial tcp: lookup server2 on 10.96.0.10:53: no such host

这是因为没有内网的DNS服务器，所以metrics-server无法解析节点名字。可以直接修改coredns的configmap，讲各个节点的主机名加入到hosts中，这样所有Pod都可以从CoreDNS中解析各个节点的名字。

$ kubectl edit configmap coredns -n kube-system
apiVersion: v1
data:
  Corefile: |
    ...
        ready
        hosts {
           172.25.0.11 server1
           172.25.0.12 server2
           172.25.0.13 server3
           fallthrough
        }
        kubernetes cluster.local in-addr.arpa ip6.arpa {

第二个坑,证书问题

报错2：x509: certificate signed by unknown authority

Metric Server 支持一个参数 --kubelet-insecure-tls，可以跳过这一检查，然而官方也明确说了，这种方式不推荐生产使用。

启用TLS Bootstrap 证书签发

# vim /var/lib/kubelet/config.yaml 	
...
serverTLSBootstrap: true

# systemctl  restart kubelet

$ kubectl get csr
NAME        AGE     REQUESTOR                     CONDITION
csr-f29hk   5s      system:node:node-standard-2   Pending
csr-n9pvr   3m31s   system:node:node-standard-3   Pending

$ kubectl certificate approve csr-n9pvr
certificatesigningrequest.certificates.k8s.io/csr-n9pvr approved

在每个节点都需要操作.

在后端节点ser3上

在ser4上

在ser2上对ser3和ser4证书进行批准
此时部署已经成功

有的版本不需要填这个坑

报错3: Error from server (ServiceUnavailable): the server is currently unable to handle the request (get nodes.metrics.k8s.io)
如果metrics-server正常启动，没有错误，应该就是网络问题。修改metrics-server的Pod 网络模式：

hostNetwork: true

配置epel源，用于下载软件。

Dashboard实现图形化界面部署

Dashboard可以给用户提供一个可视化的 Web 界面来查看当前集群的各种信息。用户可以用 Kubernetes Dashboard 部署容器化的应用、监控应用的状态、执行故障排查任务以及管理 Kubernetes 各种资源。

网址：https://github.com/kubernetes/dashboard

下载部署文件

$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc5/aio/deploy/recommended.yaml

$ kubectl  -n kubernetes-dashboard get svc
NAME                        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.105.135.64    <none>        8000/TCP        77m
kubernetes-dashboard        NodePort    10.110.102.158   <none>        443:32406/TCP   77m

修改为NodePort方式，以便外部访问。

实际操作:

1.将镜像下载在harbor仓库中
该文件是从网上下载的

获取token

找到sname


将token直接放进去
发现右上角的很多报错
因为没有授权

默认dashboard对集群没有操作权限，需要授权

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: kubernetes-dashboard-admin
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard

1.这里的sa已经有了，我们不需要再创建了
2.
再进去时，一切正常
该web界面不仅可以实现监控，还可以实现部署pod

pod nginx创建成功

拉伸pod数量

测试删除刚刚的pod


注意：
Dashboard如果无法展示metrics-server的数据指标，可以通过以下两种方式解决：

修改dashboard-metrics-scraper 的Pod网络模式： hostNetwork: true 

通过node或pod的亲和性设置，让dashboard-metrics-scraper和
metrics-server的Pod处于同一个node节点。