《Kubernetes监控篇：Kubernetes集群blackbox-exporter监控实战（方案一）》

---

一、简介

blackbox_exporter是Prometheus官方提供的exporter 之一，可以提供 http、dns、tcp、icmp的监控数据采集。

1、HTTP测试
    定义Request Header信息
    判断Http status/Http Respones Header/Http Body内容
2、TCP测试
    业务组件端口状态监听
    应用层协议定义与监听
3、ICMP测试
    主机探活机制
4、POST测试
     接口联通性
5、SSL证书过期时间

---

二、部署方案

1、针对小型K8S环境集群环境，监控的目标范围比较小，可以使用 static_configs静态配置的方式来获取数据。
2、针对大型K8S环境集群环境，监控的目标范围比较大，建议使用 file_sd_configs文件自动发现或者 kubernetes_sd_configs以service的方式自动采集数据。
3、file_sd_configs方式可以监控非K8S集群环境的服务。

部署前请参考如下链接，这里的部署文档是基于上述环境。
请参考：《Kubernetes监控篇：Prometheus+Grafana+Alertmanager监控K8S集群实战》

这里主要介绍 kubernetes_sd_configs的方式来采集监控指标数据。

---

三、部署blackbox-exporter

3.1、资源下载

K8S监控blackbox-exporter镜像及资源清单文件

亲自整理手动编写，资源列表如下所示：

configmap文件部分类容如下所示：

说明：资源里的yaml文件里花了大量时间整理并做了详细的注释，这里由于文件内容过多，无法一一展示，仅部分内容展示，如果需要全部资料，请通过上述链接下载。

---

3.2、资源说明

说明：部署前请仔细查看yaml文件,并根据自己环境实际情况对一些参数进行修改。

1、修改service.yaml文件中的nodePort: 31003字段,可以根据自己K8S集群环境定义的service端口范围设置。
2、针对不同环境，建议对deploymeng.yaml文件中定义的resource.limits和resource.requests的cpu和内存进行合理化配置。

---

3.3、部署blackbox-exporter

#1、将镜像导入到所有K8S集群主机上，master节点和worker节点
[root@k8s-master-227 blackbox-exporter]# docker load -i blackbox-exporter.tar.gz

#2、在master节点上执行yaml文件部署
[root@k8s-master-227 blackbox-exporter]# kubectl apply -f .

如下图所示：

说明：通过上述截图可以看到blackbox-exporter调度到k8s-worker-135主机上，映射宿主机端口为31003。可以在浏览器上输入http://192.168.1.135:31003/查看，如下图所示：

---

四、部署prometheus

4.1、资源下载

K8S主机Prometheus监控blackbox-exporter(kubernetes_sd_files)资源清单及镜像文件

亲自整理手动编写，资源列表如下所示：

configmap文件部分类容如下所示：

说明：资源里的yaml文件里花了大量时间整理并做了详细的注释，这里由于文件内容过多，无法一一展示，仅部分内容展示，如果需要全部资料，请通过上述链接下载。

---

4.2、资源说明

说明：部署前请仔细查看yaml文件,并根据自己环境实际情况对一些参数进行修改。

1、修改claim.yaml文件中的storage: 20Gi,建议根据实际情况填写存储大小空间,nfs不支持pvc在线扩容,生成环境一定要谨慎评估，条件允许情况下建议使用分布式存储ceph，支持在线扩容pvc。
2、修改configmap.yaml文件,[“192.168.1.227:9001”,“192.168.1.227:9002”,“192.168.1.227:9003”],这里配置的是alertmanager服务的ip和监听端口,当前环境因为是服务器有限，部署为同一台主机，建议生成环境分三台主机部署alertmanager,并根据实际情况填写。
3、默认nodePort: 32004,根据实际情况修改,这里采用NodePort方式暴露端口让prometheus服务可以被集群外部访问
4、yaml文件定义的namespace是kube-monitor,如果你不太会修改yaml文件,建议不要修改,因为涉及到的不仅仅是prometheus-ssl-exporter，其它所有的服务我这里都是统一放到kube-monitor名称空间下的,方便查看及统一标准。
5、告警规则文件参考https://awesome-prometheus-alerts.grep.to/rules，可直接搜索node-exporter会出现关于node-exporter指标的监控规则内容。

---

4.3、部署prometheus

1、执行yaml文件

2、查看prometheus服务

3、浏览器输入http://192.168.1.174:32004/targets,查看target

4、查看Alerts

5、alert指标参数详解

BlackboxProbeFailed 探测是否成功
BlackboxSlowProbe 探测返回时间
probe_http_status_code 探测返回状态码

6、查看监控数据

说明：如上所示则表明Prometheus已经采集到了blackbox-exporter相关数据。

---

五、测试用例说明

如果你希望能自动发现自定义服务的监控目标，应用侧的service的annotation段需要进行配置，如下图所示：

如果需要监控http和tcp，则只需添加如下内容

prometheus.io/scrape: "true"
prometheus.io/http-probe: "true"
prometheus.io/http-probe-port: "80" #监控服务的端口，根据实际情况填写
prometheus.io/http-probe-path: "/index.html" #监控服务接口的地址，如果域名上下文不是为/的话,则写为/index.html
prometheus.io/tcp-probe: "true"  
prometheus.io/tcp-probe-port: "80" #监控服务的探测端口，根据实际情况填写，这里监控的是nginx，定义的service port为80

如果只需要监控http，则只需添加如下内容

prometheus.io/scrape: "true"
prometheus.io/http-probe: "true"
prometheus.io/http-probe-port: "80" #监控服务的端口，根据实际情况填写
prometheus.io/http-probe-path: "/index.html" #监控服务接口的地址，如果域名上下文不是为/的话,则写为/index.html

如果只需要监控tcp，则只需添加如下内容

prometheus.io/scrape: "true"
prometheus.io/tcp-probe: "true"  
prometheus.io/tcp-probe-port: "80" #监控服务的探测端口，根据实际情况填写，这里监控的是nginx，定义的service port为

---

六、部署blackbox-exporter数据源

说明：在Grafana中添加 DataSource，域名使用service name prometheus-blackbox-exporter即可，这样可以通过内网去访问，即使prometheus-blackbox-exporter调度到另外一台主机也不影响数据的接入。

service name如下图红色箭头所示：

http url如下图所示：

---

六、导入Grafana模板

K8S集群服务接口监控模板

效果如下图所示：

---

七、钉钉告警通知

---

总结：整理不易，如果对你有帮助，可否点赞关注一下？

更多详细内容请参考：企业级K8s集群运维实战