Prometheus监控Etcd集群
==前提Prometheus是用Prometheus Operator
安装的==
安装方法:
-
Prometheus Operator: https://www.qikqiak.com/post/first-use-prometheus-operator/
-
监控Etcd: https://www.qikqiak.com/post/prometheus-operator-monitor-etcd/
-
第一步建立一个 ServiceMonitor 对象,用于 Prometheus 添加监控项
-
第二步为 ServiceMonitor 对象关联 metrics 数据接口的一个 Service 对象
-
第三步确保 Service 对象可以正确获取到 metrics 数据
创建secrets资源
首先我们将需要使用到的证书通过 secret 对象保存到集群中去:(在 etcd 运行的节点)
我这里是外接ETCD,证书也是前面部署生成的
#查看etcd引用的证书文件
$ cat /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd \
--name=11.0.64.5 \
--cert-file=/etc/kubernetes/ssl/kubernetes.pem \
--key-file=/etc/kubernetes/ssl/kubernetes-key.pem \
--peer-cert-file=/etc/kubernetes/ssl/kubernetes.pem \
--peer-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \
--trusted-ca-file=/etc/kubernetes/ssl/k8s-root-ca.pem \
--peer-trusted-ca-file=/etc/kubernetes/ssl/k8s-root-ca.pem \
--initial-advertise-peer-urls=https://11.0.64.5:2380 \
--listen-peer-urls=https://11.0.64.5:2380 \
--listen-client-urls=https://11.0.64.5:2379 \
--advertise-client-urls=https://11.0.64.5:2379 \
--initial-cluster-token=etcd-cluster-0 \
--initial-cluster=11.0.64.5=https://11.0.64.5:2380,11.0.64.6=https://11.0.64.6:2380,11.0.64.7=https://11.0.64.7:2380 \
--initial-cluster-state=new \
--data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
#创建secret资源
$ kubectl -n monitoring create secret generic etcd-certs --from-file=/etc/kubernetes/ssl/kubernetes.pem --from-file=/etc/kubernetes/ssl/kubernetes-key.pem --from-file=/etc/kubernetes/ssl/k8s-root-ca.pem
apply Prometheus配置文件
#添加如下的 secrets 属性:
$ vim prometheus-prometheus.yaml
replicas: 2
secrets:
- etcd-certs
$ kubectl apply -f prometheus-prometheus.yaml
#等到pod重启后,进入pod查看是否可以看到证书
$ kubectl exec -it -n monitoring prometheus-k8s-0 -- /bin/sh
/prometheus $ ls -l /etc/prometheus/secrets/etcd-certs/
total 0
lrwxrwxrwx 1 root root 22 Oct 24 07:20 k8s-root-ca.pem -> ..data/k8s-root-ca.pem
lrwxrwxrwx 1 root root 25 Oct 24 07:20 kubernetes-key.pem -> ..data/kubernetes-key.pem
lrwxrwxrwx 1 root root 21 Oct 24 07:20 kubernetes.pem -> ..data/kubernetes.pem
创建 ServiceMonitor
$ vim prometheus-serviceMonitorEtcd.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: etcd-k8s
namespace: monitoring
labels:
k8s-app: etcd-k8s
spec:
jobLabel: k8s-app
endpoints:
- port: port
interval: 30s
scheme: https
tlsConfig:
caFile: /etc/prometheus/secrets/etcd-certs/k8s-root-ca.pem
certFile: /etc/prometheus/secrets/etcd-certs/kubernetes.pem
keyFile: /etc/prometheus/secrets/etcd-certs/kubernetes-key.pem
insecureSkipVerify: true
selector:
matchLabels:
k8s-app: etcd
namespaceSelector:
matchNames:
- kube-system
$ kubectl apply -f prometheus-serviceMonitorEtcd.yaml
上面我们在 monitoring 命名空间下面创建了名为 etcd-k8s 的 ServiceMonitor 对象,基本属性和前面章节中的一致,匹配 kube-system 这个命名空间下面的具有 k8s-app=etcd 这个 label 标签的 Service,jobLabel 表示用于检索 job 任务名称的标签,和前面不太一样的地方是 endpoints 属性的写法,配置上访问 etcd 的相关证书,endpoints 属性下面可以配置很多抓取的参数,比如 relabel、proxyUrl,tlsConfig 表示用于配置抓取监控数据端点的 tls 认证,由于证书 serverName 和 etcd 中签发的可能不匹配,所以加上了 insecureSkipVerify=true
创建 Service
$ vim prometheus-etcdService.yaml
apiVersion: v1
kind: Service
metadata:
name: etcd-k8s
namespace: kube-system
labels:
k8s-app: etcd
spec:
type: ClusterIP
clusterIP: None
ports:
- name: port
port: 2379
protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
name: etcd-k8s
namespace: kube-system
labels:
k8s-app: etcd
subsets:
- addresses:
- ip: 11.0.64.5
- ip: 11.0.64.6
- ip: 11.0.64.7
ports:
- name: port
port: 2379
protocol: TCP
$ kubectl apply -f prometheus-etcdService.yaml
Prometheus 的 Dashboard 中查看 targets,便会有 etcd 的监控项
数据采集到后,可以在 grafana 中导入编号为3070的 dashboard,获取到 etcd 的监控图表。
Etcd监控指标
etcd监控指标-metrics_qq522044637的博客-CSDN博客
领导者相关
- etcd_server_has_leader etcd是否有leader
- etcd_server_leader_changes_seen_total etcd的leader变换次数
- etcd_debugging_mvcc_db_total_size_in_bytes 数据库的大小
- process_resident_memory_bytes 进程驻留内存
网络相关
- grpc_server_started_total grpc(高性能、开源的通用RPC(远程过程调用)框架)服务器启动总数
- etcd_network_client_grpc_received_bytes_total 接收到grpc客户端的字节总数
- etcd_network_client_grpc_sent_bytes_total 发送给grpc客户端的字节总数
- etcd_network_peer_received_bytes_total etcd网络对等方接收的字节总数(对等网络,即对等计算机网络,是一种在对等者(Peer)之间分配任务和工作负载的分布式应用架构,是对等计算模型在应用层形成的一种组网或网络形式)
- etcd_network_peer_sent_bytes_total etcd网络对等方发送的字节总数
提案相关
- etcd_server_proposals_failed_total 目前正在处理的提案(提交会议讨论决定的建议。)数量
- etcd_server_proposals_pending 失败提案总数
- etcd_server_proposals_committed_total 已落实共识提案的总数。
- etcd_server_proposals_applied_total 已应用的共识提案总数。
这些指标描述了磁盘操作的状态。
- etcd_disk_backend_commit_duration_seconds_sum etcd磁盘后端提交持续时间秒数总和
- etcd_disk_backend_commit_duration_seconds_bucket etcd磁盘后端提交持续时间
快照
- etcd_debugging_snap_save_total_duration_seconds_sum etcd快照保存用时
文件
- process_open_fds{service="etcd-k8s"} 打开文件描述符的数量
- process_max_fds{service="etcd-k8s"} 打开文件描述符的最大数量
- etcd_disk_wal_fsync_duration_seconds_sum Wal(预写日志系统)调用的fsync(将文件数据同步到硬盘)的延迟分布
- etcd_disk_wal_fsync_duration_seconds_bucket 后端调用的提交的延迟分布
配置ETCD监控报警规则
到了这一步集群里面已经能prometheus到ETCD了,并且可以拿到数据,接下来就根据数据配置prometheus-rules规则,更多规则请参考:https://github.com/yanghongfei/Kubernetes/tree/master/kube-prometheus/manifests/prometheus/prometheus_rules
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
labels:
prometheus: k8s
role: alert-rules
name: prometheus-etcd-rules
namespace: monitoring
spec:
groups:
- name: EtcdMonitoring
rules:
- alert: EtcdDown
annotations:
detail: ": etcd down (当前值: )"
summary: ": etcd 出现异常,请管理员尽快排查"
expr: |
up{endpoint="port",job="etcd",namespace="kube-system",service="etcd-k8s"} == 0
for: 1m
labels:
severity: 严重
另外附上自己整理的监控K8S集群规则
规则路径:https://github.com/yanghongfei/Kubernetes/tree/master/kube-prometheus/manifests/prometheus/prometheus_rules
.
├── prometheus-altermanager-rules.yaml #监控Altermanger存活
├── prometheus-cpu-rules.yaml #监控NodeCPU利用率和NodeCPULoad负载
├── prometheus-deployment-rules.yaml #监控K8S集群中是否有部署报错
├── prometheus-disk-rules.yaml #监控磁盘空间,磁盘IO后续更新
├── prometheus-etcd-rules.yaml #监控ETCD集群存活
├── prometheus-grafana-rules.yaml #监控Grafana是否存活
├── prometheus-k8s-pod-rules.yaml #监控K8S集群中POD重启和异常POD信息
├── prometheus-k8s-rules.yaml #监控K8SMaster核心组件,如:APIServer 调度器等
├── prometheus-memory-rules.yaml #监控Node主机内存使用情况
├── prometheus-node_exporter-rules.yaml #监控Node采集器存活情况
└── prometheus-prometheus-rules.yaml #监控Promethues服务存活
参考: