kube-prometheus+kube-thanos

背景

最近在做监控，选择了thanos架构，使用了kube-prometheus+kube-thanos，这里记录一下搭建过程。

原理

我选择的是sidecar的方式，这张图画的很好，thanos就理解为多个prometheus的汇合点，当一个query发到thanos后，一部分会从thanos的store查询，另一部分从每个prometheus查询，其中每个prometheus多了一个sidecar，sidecar主要就是把本地的prometheus数据上传到thanos store，另外也充当了一个网关的功能。

环境介绍

本次我是打算用两个集群来搭建，一个集群安装thanos，另外一个集群安装prometheus，这个也符合真实的生产环境。当然你只是为了学习做实验也可以都放在一个集群内。

安装thanos

搭建thanos就直接选择kube-thanos，选择在cluster A搭建。

1安装minio

kube-thanos/examples/development-minio这个目录下官方提供了一个minio的deploy直接部署

2安装thanos

kube-thanos/manifests这个文件就是thanos的所有安装文件，kubectl apply -f 一下。
现在thanos就安装好了，你可以把minio的svc改成nodeport暴露出来，把thanos-query也暴露出来。

3安装grafana

安装grafana选择用kube-prometheus修改一下kube-prometheus/manifests下的grafana-dashboardDatasources.yaml添加datasource

            {
                "access": "proxy",
                "editable": false,
                "name": "thanos",
                "orgId": 1,
                "type": "prometheus",
                "url": "http://thanos-query.thanos.svc.cluster.local:9090",
                "version": 1
            }

kubectl apply -f kube-prometheus/manifests 中的所有grafana开头的文件，这里只安装grafana，然后将grafana的svc改为nodeport。

安装prometheus

1安装prometheus

现在开始在cluster B集群安装prometheus，还是选择用kube-prometheus来安装，kubectl apply -f kube-prometheus/manifests 中的所有不是grafana开头的文件,原因是这个集群不需要安装grafana

2配置minio

因为之前说过，sidecar需要把prometheus本地的数据上传到minio中去，所以肯定是需要配置一个包含minio连接信息的secret

apiVersion: v1
kind: Secret
metadata:
  name: thanos-objectstorage
  namespace: monitoring
stringData:
  thanos.yaml: |
    type: s3
    config:
      bucket: thanos
      endpoint: minio的地址
      insecure: true
      access_key: minio
      secret_key: minio123
type: Opaque

修改其中的minio的地址，这个地址就是cluster A的暴露出来的minio的地址，如果你只是做实验，都安装在一个集群内了地址就是minio.thanos.svc.cluster.local:9000

2配置sidecar

修改prometheus-prometheus.yaml

2.1添加sidecar配置

  thanos:
    baseImage: quay.io/thanos/thanos:v0.30.2
    version: v0.30.2
    objectStorageConfig:
      key: thanos.yaml
      name: thanos-objectstorage

2.2添加sidecar配置

修改externalLabels: {}，修改这个的原因是为了知道数据属于哪个集群，因为thanos提供了统一的查询入口，需要通过一些标签做筛选，我这里写的就是externalLabels: {clusterId: A}.

3配置endpoints

如果一切正常，此时你就需要最后一步了，回到cluster A，修改一下thanos-query-deployment.yaml,这一步的原因是为了让thanos知道cluster B的prometheus的地址，这样thanos在查询的时候就会到cluster B的prometheus来查询了,这个地址是cluster B中prometheus-operator svc的地址，我这里是把它改成了nodeport。

  - --endpoint=172.0.5.23:10901```

如果你是做实验都在一个集群内就是

  - --endpoint=dnssrv+_grpc._tcp.prometheus-operated.monitoring.svc.cluster.local:10901```

总结

如果一切正常你就可以在grafana看到如下的数据了

参考：
https://ost.51cto.com/posts/12545
https://mp.weixin.qq.com/s/ImUAfXEY1sdvGc6IgmF8IQ