在OpenShift 4.3中不但集成了Prometheus功能,还集成了Prometheus的查询和报警界面。在Administrator视图中的Monitoring栏目中有以下三项:“Alerting”、“Metrics”、“Dashboard”菜单,前两个是集成的Prometheus界面和功能,后一个会跳转到Grafana界面。
我们在《OpenShift 4.3 之 Quarkus(3)用Prometheus监控Quarkus应用》介绍了如何在应用项目中部署Prometheus和Grafana并实现应用监控。而本文直接使用的是OpenShift 4.3内置的集群级别的Prometheus和Grafana运行环境。
准备OpenShift监控环境
- OpenShift 4.3内置的监控环境运行在openshift-monitoring项目中。先创建一个Prometheus用的ConfigMap。
$ oc -n openshift-monitoring create configmap cluster-monitoring-config
- 编辑cluster-monitoring-config配置对象。
$ oc -n openshift-monitoring edit configmap cluster-monitoring-config
向文件增加整个“data”部分的内容,然后保存。当保存cluster-monitoring-config配置对象后,OpenShift会自动Build并Deloyment所需的Prometheus资源对象。
apiVersion: v1
data:
config.yaml: |
techPreviewUserWorkload:
enabled: true
kind: ConfigMap
metadata:
name: cluster-monitoring-config
namespace: openshift-monitoring
- 查看Build和Deployment进度,最后又以下3个Prometheus相关Pod。
$ oc -n openshift-user-workload-monitoring get pod
NAME READY STATUS RESTARTS AGE
prometheus-operator-5b8d788b9c-r76d4 1/1 Running 0 46s
prometheus-user-workload-0 5/5 Running 1 35s
prometheus-user-workload-1 5/5 Running 1 35s
部署测试Quarkus应用
- 创建测试Quarkus应用资源。
$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/quarkus-quickstarts/master/microprofile-metrics-quickstart/.openshift/templates/quarkus-application.yaml
- 开始启动Build镜像,然后部署Quarkus应用。完成后有1个运行Quarkus应用的Pod是Running状态。
oc start-build quarkus-quickstart
$ oc get pod
NAME READY STATUS RESTARTS AGE
quarkus-quickstart-1-build 0/1 Completed 0 2m41s
quarkus-quickstart-1-deploy 0/1 Completed 0 46s
quarkus-quickstart-1-zhw2b 1/1 Running 0 38s
- 查看Quarkus应用中可监控的Metrics列表。
$ curl http://$(oc get route quarkus-quickstart |awk 'NR==2 {print $2}')/metrics
监控Quarkus应用的Metrics
- 创建以下内容的quarkus-service-monitor.yaml文件,然后根据该文件在quarkus项目中创建ServiceMonitor对象。
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
labels:
k8s-app: prometheus-quarkus-monitor
name: prometheus-quarkus-monitor
namespace: quarkus
spec:
endpoints:
-- interval: 30s
targetPort: 8080
scheme: http
selector:
matchLabels:
app: quarkus-quickstart
$ oc apply -f quarkus-service-monitor.yaml
- 创建以下内容的quarkus-alerting-rule.yaml文件,然后根据该文件在quarkus项目中创建PrometheusRule对象。
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: quarkus-alert
namespace: quarkus
spec:
groups:
-- name: quarkus-example
rules:
- alert: ProcessCPUTimeAlert
expr: vendor_cpu_processCpuTime_seconds{job="quarkus-quickstart"} > 8
$ oc apply -f quarkus-alerting-rule.yaml
- 用集群管理员进入Administrator视图的Monitoring菜单中的Metrics。将“vendor_cpu_processCpuTime_seconds”填入右侧Metrics界面中的Expression框中,然后点击“Run Queries”,此时上方Graph区域就会显示该监控指标的实时情况。