node-problem-detector
GitHub - kubernetes/node-problem-detector: This is a place for various problem detectors running on the Kubernetes nodes.
Node-Problem-Detector-Plus 是 Kubernetes 集群节点的健康监测组件。在k8s中以 DaemonSet 方式运行,帮助用户实时检测节点上的各种异常情况,并将检测结果报告给上游的 Kube-apiserver。
使用 Node-Problem-Detector-Plus 组件可以监控节点的工作状态,包括内核死锁、OOM、系统线程数压力、系统文件描述符压力等指标,通过 Node Condition 和 Event 的形式上报给 Apiserver。
可以通过检测相应的指标,提前预知节点的资源压力,可以在节点开始驱逐 Pod 之前手动释放或扩容节点资源压力,防止 Kubenetes 进行资源回收或节点不可用可能带来的损失。
node-problem-detector 使用 Event 和 NodeCondition 向 apiserver 报告问题。
- NodeCondition:使节点对 pod 不可用的永久性问题应报告为 NodeCondition。
- Event:对 pod 影响有限但提供信息的临时问题应报告为事件
导出器
导出器(Exporter)向特定后端报告节点问题和/或指标。 支持下列导出器:
- Kubernetes exporter: 此导出器向 Kubernetes API 服务器报告节点问题。 临时问题报告为事件,永久性问题报告为节点状况。
- Prometheus exporter: 此导出器在本地将节点问题和指标报告为 Prometheus(或 OpenMetrics)指标。 你可以使用命令行参数指定导出器的 IP 地址和端口。
- Stackdriver exporter: 此导出器向 Stackdriver Monitoring API 报告节点问题和指标。 可以使用配置文件自定义导出行为
1.k8s集群内导入rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: node-problem-detector
namespace: prometheus
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: npd-binding
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: system:node-problem-detector
subjects:
- kind: ServiceAccount
name: node-problem-detector
namespace: prometheus