本地k8s集群内一键部署grafana+prometheus
说明:
此一键部署grafana+Prometheus已包含:
- victoria-metrics 存储
- prometheus-server
- grafana
- prometheus-kube-state-metrics
- prometheus-node-exporter
- blackbox-exporter
grafana内已导入基础的dashboard【7个】和alert rule【29个】
注意:
grafana使用mysql
数据库
1.下载压缩文件,解压prometheus+grafana.tar.gz
链接:https://pan.baidu.com/s/11DP72qunmzxzlnsUt3fvlQ?pwd=dgs6
提取码:dgs6
tar -xvf prometheus+grafana.tar.gz
kubectl create ns prometheus
cd prometheus+grafana/
2.执行一键安装脚本import-prometheus.sh,替换变量
./import-prometheus.sh -h mysql数据库ip -u mysql用户 -p mysql密码 -a 泛域名地址 -k node节点名字 -n 项目标识
例:
./import-prometheus.sh -h 100.64.22.195 -u mysql -p hqy-webtv -a testops.xxxxxxxx.com -k bk-node02 -n test-ops
其中,-k
的node节点名字可通过kubectl get no
得到,如图
-n
后的项目标识根据项目命名,可任意字符,如csp环境,csp
执行成功后会有6个deployment
3.根据ingress内配置的grafana域名,登录grafana。grafana.xxxxxxxx.com
账号:admin 密码:Chinamcloud
常用的模板,告警规则都已存在
4.修改告警钉钉群为项目上的钉钉群
4.1 打开钉钉群,新建机器人,配置关键字告警
,复制钉钉机器人地址
4.2 打开grafana——》alert—-》修改ontact point,修改为4.1的钉钉机器人地址
问题:
1.ingress大屏未获取到数据
解决:ingress-nginx-controller的Deployment 下新增下面2个注释
prometheus.io/port=10254
prometheus.io/scrape=true
2.etcd大屏无数据
解决:需修改Prometheus的配置映射,job是etcd-monitoring下的etcd-ip换成自己环境的ip,如有多个etcd-ip,配置如下:
- job_name: etcd-monitoring
metrics_path: "/metrics"
static_configs:
- targets:
- etcd-ip1:2379
- etcd-ip2:2379
- etcd-ip3:2379
3.weindows-exporter大屏无数据
windows机器上安装windows-exporter安装完成后,需修改Prometheus的配置映射,job是windows-exporter的etcd-ip换成自己环境的ip,如有多个windows-ip,配置如下:
- job_name: windows-exporter
static_configs:
- targets:
- windows-ip1:9182
- windows-ip2:9182
- windows-ip3:9182