k8s 中快速集成搭建 Prometheus+grafana

搭建 Prometheus

地址：https://github.com/prometheus-operator/kube-prometheus

所有配置都在 manifests 文件里

想要从头到尾完整的搭建一套 Prometheus 的环境还是比较麻烦的，我们直接使用 kube-Prometheus，这个是打好包的，它已经把常用的组件都集成好了，可以直接使用

版本选择

需要选择对应的 k8s 的版本

替换国内镜像

提高下载速度

sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' prometheusOperator-deployment.yaml
sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' prometheus-prometheus.yaml
sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' alertmanager-alertmanager.yaml
sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' kubeStateMetrics-deployment.yaml
sed -i 's/k8s.gcr.io/lank8s.cn/g' kubeStateMetrics-deployment.yaml
sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' nodeExporter-daemonset.yaml
sed -i 's/quay.io/quay.mirrors.ustc.edu.cn/g' prometheusAdapter-deployment.yaml
sed -i 's/k8s.gcr.io/lank8s.cn/g' prometheusAdapter-deployment.yaml

# 查看是否还有国外镜像
grep "image: " * -r

克隆下来，放到文件 kube-prometheus 下

进到 manifests，可以看到所有它帮我们集成的资源信息，每一个 yaml 都是一个资源，不需要我们自己去集成，方便很多

setup 还有命名空间等资源信息

回到 kube-prometheus 文件夹下，先安装 setup 里的资源信息，因为 setup 里的资源比较大的原因，用 apply 命令会报错，我们这里直接使用 create 命令创建资源

再用 apply 创建 manifests 里的资源

创建完成，查看命名空间中所有资源，Pod 和服务的信息都在这里了，因为有些镜像下载比较慢，可能需要等上一会儿

主要关注这三个服务的端口信息，这几个是我需要使用到的

直接访问端口会访问不了，k8s 对资源做了一定的限制，我们可以配置 ingress，然后用域名访问，也是在 manifests 文件下，创建 prometheus-ingress.yaml 资源

# 创建 prometheus-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  namespace: monitoring
  name: prometheus-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: grafana.wolfcode.cn  # 访问 Grafana 域名
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: grafana
            port:
              number: 3000
  - host: prometheus.wolfcode.cn  # 访问 Prometheus 域名
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: prometheus-k8s 
            port:
              number: 9090
  - host: alertmanager.wolfcode.cn  # 访问 alertmanager 域名
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: alertmanager-main
            port:
              number: 9093

# 创建 ingress
kubectl apply -f prometheus-ingress.yaml

在主机里配置 hosts

配置完成测试访问

Alertmanager

grafana

我们主要看 grafana，在这里可以看到各种监控的信息，CPU/内存、JVM、节点、Pod、Job 等等各种资源

在选择想要监控的资源时，需要先配置数据源信息

prometheus-k8s：服务名字

monitoring： 命名空间

保存

查看想要监控的资源

Default 里是默认提供的资源信息，可以直接选择查看

节点的监控

kubelet 的监控

记录各种资源运行的数据，如 Pods 有51个、容器有104个等等

除了这些默认的，我们还可以导入一些其他资源并监控。