公众号关注 「奇妙的 Linux 世界」
设为「星标」,每天带你玩转 Linux !
前言
Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件,还有 kubeconfig 文件。
如果证书过期,轻则无法登录 Kubernetes 集群,重则整个集群异常。
为了解决证书过期的问题,一般有以下几种方式:
1.大幅延长证书有效期,短则 10年,长则 100 年;2.证书快过期是自动轮换,如 Rancher 的 K3s,RKE2 就采用这种方式;3.增加证书过期的监控,便于提早发现证书过期问题并人工介入
本次主要介绍关于 Kubernetes 集群证书过期的监控,这里提供 3 种监控方案:
1.使用 Blackbox Exporter[1] 通过 Probe 监控 Kubernetes apiserver 证书过期时间;2.使用 kube-prometheus-stack[2] 通过 apiserver 和 kubelet 组件监控获取相关证书过期时间;3.使用 enix 的 x509-certificate-exporter[3]监控集群所有node的 /etc/kubernetes/pki
和 /var/lib/kubelet
下的证书以及 kubeconfig 文件
方案一: Blackbox Exporter 监控 Kubernetes apiserver 证书过期时间
Blackbox Exporter 用于探测 HTTPS、HTTP、TCP、DNS、ICMP 和 grpc 等 Endpoint。在你定义 Endpoint 后,Blackbox Exporter 会生成指标,可以使用 Grafana 等工具进行可视化。Blackbox Exporter 最重要的功能之一是测量 Endpoint 的可用性。
当然, Blackbox Exporter 探测 HTTPS 后就可以获取到证书的相关信息, 就是利用这种方式实现对 Kubernetes apiserver 证书过期时间的监控.
配置步骤
1.调整 Blackbox Exporter 的配置, 增加 insecure_tls_verify: true
, 如下:
![null 87630800bdd821d9c253cc4cdf32c8a8.jpeg](https://i-blog.csdnimg.cn/blog_migrate/05aef32bf4dfacca08a04a0d243cbf56.jpeg)
2.重启 blackbox exporter: kubectl rollout restart deploy ...
3.增加对 Kubernetes APIServer 内部端点https://kubernetes.default.svc.cluster.local/readyz的监控.1.如果你没有使用 Prometheus Operator, 使用的是原生的 Prometheus, 则需要修改 Prometheus 配置文件的 configmap 或 secret, 添加 scrape config, 示例如下:
![null 71ed475ca567c6d238e32d56ef3e494a.png](https://i-blog.csdnimg.cn/blog_migrate/cb30f904c953bf24dbf44da24b87297a.png)
2.如果在使用 Prometheus Operator, 则可以增加如下 Probe CRD, Prometheus Operator 会自动将其转换并 merge 到 Prometheus 中.
apiVersion: monitoring.coreos.com/v1
kind: Probe
metadata:
name: kubernetes-apiserver
spec:
interval: 60s
module: http_2xx
prober:
path: /probe
url: monitor-prometheus-blackbox-exporter.default.svc.cluster.local:9115
targets:
staticConfig:
static:
- https://kubernetes.default.svc.cluster.local/readyz
最后, 可以增加 Prometheus 告警 Rule, 这里就直接用 Prometheus Operator 创建 PrometheusRule CRD 做示例了, 示例如下:
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: prometheus-blackbox-exporter
spec:
groups:
- name: prometheus-blackbox-exporter
rules:
- alert: BlackboxSslCertificateWillExpireSoon
expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
for: 0m
labels:
severity: warning
- alert: BlackboxSslCertificateWillExpireSoon
expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 14
for: 0m
labels:
severity: critical
- alert: BlackboxSslCertificateExpired
annotations:
description: |-
SSL certificate has expired already
VALUE = {{ $value }}
LABELS = {{ $labels }}
summary: SSL certificate expired (instance {{ $labels.instance }})
expr: probe_ssl_earliest_cert_expiry - time() <= 0
for: 0m
labels:
severity: emergency
效果
![null ce109637f748faab9c8b24daf4b6fe24.png](https://i-blog.csdnimg.cn/blog_migrate/abef727e21e693caefef308937574e6f.png)
方案二: kube-prometheus-stack 通过 apiserver 和 kubelet 组件监控证书过期时间
这里可以参考我的文章:Prometheus Operator 与 kube-prometheus 之二 - 如何监控 1.23+ kubeadm 集群[4], 安装完成后, 开箱即用.
开箱即用内容包括:
1.抓取 apiserver 和 kubelet 指标;(即 serviceMonitor)2.配置证书过期时间的相关告警; (即 PrometheusRule)
这里用到的指标有:
1.apiserver1.apiserver_client_certificate_expiration_seconds_count
2.apiserver_client_certificate_expiration_seconds_bucket
2.kubelet1.kubelet_certificate_manager_client_expiration_renew_errors
2.kubelet_server_expiration_renew_errors
3.kubelet_certificate_manager_client_ttl_seconds
4.kubelet_certificate_manager_server_ttl_seconds
监控效果
对应的 Prometheus 告警规则如下:
![null 4b07f19f378c4522a702bf79fd168efa.png](https://i-blog.csdnimg.cn/blog_migrate/f54de791aa0a3a9fe98fd3b38416119a.png)
方案三: 使用 enix 的 x509-certificate-exporter
监控手段
该 Exporter 是通过监控集群所有node的指定目录或 path 下的证书文件以及 kubeconfig 文件来获取证书信息.
如果是使用 kubeadm 搭建的 Kubernetes 集群, 则可以监控如下包含证书的文件和 kubeconfig:
watchFiles:
- /var/lib/kubelet/pki/kubelet-client-current.pem
- /etc/kubernetes/pki/apiserver.crt
- /etc/kubernetes/pki/apiserver-etcd-client.crt
- /etc/kubernetes/pki/apiserver-kubelet-client.crt
- /etc/kubernetes/pki/ca.crt
- /etc/kubernetes/pki/front-proxy-ca.crt
- /etc/kubernetes/pki/front-proxy-client.crt
- /etc/kubernetes/pki/etcd/ca.crt
- /etc/kubernetes/pki/etcd/healthcheck-client.crt
- /etc/kubernetes/pki/etcd/peer.crt
- /etc/kubernetes/pki/etcd/server.crt
watchKubeconfFiles:
- /etc/kubernetes/admin.conf
- /etc/kubernetes/controller-manager.conf
- /etc/kubernetes/scheduler.conf
安装配置
编辑 values.yaml:
kubeVersion: ''
extraLabels: {}
nameOverride: ''
fullnameOverride: ''
imagePullSecrets: []
image:
registry: docker.io
repository: enix/x509-certificate-exporter
tag:
pullPolicy: IfNotPresent
psp:
create: false
rbac:
create: true
secretsExporter:
serviceAccountName:
serviceAccountAnnotations: {}
clusterRoleAnnotations: {}
clusterRoleBindingAnnotations: {}
hostPathsExporter:
serviceAccountName:
serviceAccountAnnotations: {}
clusterRoleAnnotations: {}
clusterRoleBindingAnnotations: {}
podExtraLabels: {}
podAnnotations: {}
exposePerCertificateErrorMetrics: false
exposeRelativeMetrics: false
metricLabelsFilterList: null
secretsExporter:
enabled: true
debugMode: false
replicas: 1
restartPolicy: Always
strategy: {}
resources:
limits:
cpu: 200m
memory: 150Mi
requests:
cpu: 20m
memory: 20Mi
nodeSelector: {}
tolerations: []
affinity: {}
podExtraLabels: {}
podAnnotations: {}
podSecurityContext: {}
securityContext:
runAsUser: 65534
runAsGroup: 65534
readOnlyRootFilesystem: true
capabilities:
drop:
- ALL
secretTypes:
- type: kubernetes.io/tls
key: tls.crt
includeNamespaces: []
excludeNamespaces: []
includeLabels: []
excludeLabels: []
cache:
enabled: true
maxDuration: 300
hostPathsExporter:
debugMode: false
restartPolicy: Always
updateStrategy: {}
resources:
limits:
cpu: 100m
memory: 40Mi
requests:
cpu: 10m
memory: 20Mi
nodeSelector: {}
tolerations: []
affinity: {}
podExtraLabels: {}
podAnnotations: {}
podSecurityContext: {}
securityContext:
runAsUser: 0
runAsGroup: 0
readOnlyRootFilesystem: true
capabilities:
drop:
- ALL
watchDirectories: []
watchFiles: []
watchKubeconfFiles: []
daemonSets:
cp:
nodeSelector:
node-role.kubernetes.io/master: ''
tolerations:
- effect: NoSchedule
key: node-role.kubernetes.io/master
operator: Exists
watchFiles:
- /var/lib/kubelet/pki/kubelet-client-current.pem
- /etc/kubernetes/pki/apiserver.crt
- /etc/kubernetes/pki/apiserver-etcd-client.crt
- /etc/kubernetes/pki/apiserver-kubelet-client.crt
- /etc/kubernetes/pki/ca.crt
- /etc/kubernetes/pki/front-proxy-ca.crt
- /etc/kubernetes/pki/front-proxy-client.crt
- /etc/kubernetes/pki/etcd/ca.crt
- /etc/kubernetes/pki/etcd/healthcheck-client.crt
- /etc/kubernetes/pki/etcd/peer.crt
- /etc/kubernetes/pki/etcd/server.crt
watchKubeconfFiles:
- /etc/kubernetes/admin.conf
- /etc/kubernetes/controller-manager.conf
- /etc/kubernetes/scheduler.conf
nodes:
watchFiles:
- /var/lib/kubelet/pki/kubelet-client-current.pem
- /etc/kubernetes/pki/ca.crt
rbacProxy:
enabled: false
podListenPort: 9793
hostNetwork: false
service:
create: true
port: 9793
annotations: {}
extraLabels: {}
prometheusServiceMonitor:
create: true
scrapeInterval: 60s
scrapeTimeout: 30s
extraLabels: {}
relabelings: {}
prometheusPodMonitor:
create: false
prometheusRules:
create: true
alertOnReadErrors: true
readErrorsSeverity: warning
alertOnCertificateErrors: true
certificateErrorsSeverity: warning
certificateRenewalsSeverity: warning
certificateExpirationsSeverity: critical
warningDaysLeft: 30
criticalDaysLeft: 14
extraLabels: {}
alertExtraLabels: {}
rulePrefix: ''
disableBuiltinAlertGroup: false
extraAlertGroups: []
extraDeploy: []
通过 Helm Chart 安装:
helm repo add enix https://charts.enix.io
helm install x509-certificate-exporter enix/x509-certificate-exporter
通过这个 Helm Chart 也会自动安装:
•ServiceMonitor•PrometheusRule
其监控指标为:
•x509_cert_not_after
监控效果
该 Exporter 还提供了一个比较花哨的 Grafana Dashboard, 如下:
![null c346cd138424b6e6303982663c0b8f08.jpeg](https://i-blog.csdnimg.cn/blog_migrate/6bf09deaa95b18cf5187c960ec17b648.jpeg)
Alert Rules 如下:
![null ab666d0b83a2d33bb1226cab0ba676b3.png](https://i-blog.csdnimg.cn/blog_migrate/14ad5127aebc13ba2c887c4682e0b8fd.png)
总结
为了监控 Kubernetes 集群的证书过期时间, 我们提供了 3 种方案, 各有优劣:
1.使用 Blackbox Exporter[5] 通过 Probe 监控 Kubernetes apiserver 证书过期时间;1.优势: 实现简单;2.劣势: 只能监控 https 的证书;2.使用 kube-prometheus-stack[6] 通过 apiserver 和 kubelet 组件监控获取相关证书过期时间;1.优势: 开箱即用, 安装 kube-prometheus-stack 后无需额外安装其他 exporter2.劣势: 只能监控 apiserver 和 kubelet 的证书;3.使用 enix 的 x509-certificate-exporter[7]监控集群所有node的 /etc/kubernetes/pki
和 /var/lib/kubelet
下的证书以及 kubeconfig 文件1.优势: 可以监控所有 node, 所有 kubeconfig 文件, 以及 所有 tls 格式的 secret 证书, 如果要监控 Kubernetes 集群以外的证书, 也可以如法炮制; 范围广而全;2.需要额外安装: x509-certificate-exporter, 对应有 1 个 Deployment 和 多个 DaemonSet, 对 Kubernetes 集群的资源消耗不少.
可以根据您的实际情况灵活进行选择.
🎉🎉🎉
References
[1]
Blackbox Exporter: https://ewhisper.cn/posts/26225/[2]
kube-prometheus-stack: https://ewhisper.cn/posts/3988/[3]
enix 的 x509-certificate-exporter: https://github.com/enix/x509-certificate-exporter/[4]
Prometheus Operator 与 kube-prometheus 之二 - 如何监控 1.23+ kubeadm 集群: https://ewhisper.cn/posts/3988/[5]
Blackbox Exporter: https://ewhisper.cn/posts/26225/[6]
kube-prometheus-stack: https://ewhisper.cn/posts/3988/[7]
enix 的 x509-certificate-exporter: https://github.com/enix/x509-certificate-exporter/
本文转载自:「东风微鸣技术博客」,原文:https://url.hi-linux.com/fWuJ0,版权归原作者所有。欢迎投稿,投稿邮箱: editor@hi-linux.com。
最近,我们建立了一个技术交流微信群。目前群里已加入了不少行业内的大神,有兴趣的同学可以加入和我们一起交流技术,在 「奇妙的 Linux 世界」 公众号直接回复 「加群」 邀请你入群。
你可能还喜欢
点击下方图片即可阅读
DSQ: 一款万能的 SQL 本地文件分析工具,支持 Excel、JSON、CSV 等
点击上方图片,『美团|饿了么』外卖红包天天免费领
更多有趣的互联网新鲜事,关注「奇妙的互联网」视频号全了解!