在Ceph Luminous之前的版本,可以使用第三方的Prometheus exporterceph_exporter。 Ceph Luminous 12.2.1的mgr中自带了Prometheus插件,内置了 Prometheus ceph exporter,可以使用Ceph mgr内置的exporter作为Prometheus的target。
方案一: 使用ceph mgr prometheus插件
启用Ceph的Prometheus插件:
|
启用成功后在激活(active)的mgr节点上可以看到:
|
其中9283是ceph exporter的监听端口,curl 127.0.0.1:9283
可以获取到metrics。将这个exporter作为Prometheus的target即可。
|
图表和告警这里略过……
2.方案二: 使用digitalocean ceph_exporter
因为我们正式环境中使用的是第三方的Prometheus ceph_exporter。
在安装了ceph的mon节点上(ip:192.168.20.150),执行一下命令
wget http://static.zybuluo.com/zphj1987/jiwx305b8q1hwc5uulo0z7ft/ceph_exporter-2.0.0-1.x86_64.rpm
rpm -qpl ceph_exporter-2.0.0-1.x86_64.rpm
rpm -ivh ceph_exporter-2.0.0-1.x86_64.rpm
systemctl start ceph_exporter
wget http://static.zybuluo.com/zphj1987/7ro7up6r03kx52rkwy1qjuwm/prometheus-2.3.2-1.x86_64.rpm
rpm -qpl prometheus-2.3.2-1.x86_64.rpm
rpm -ivh prometheus-2.3.2-1.x86_64.rpm
systemctl start prometheus
wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.2.1-1.x86_64.rpm
yum localinstall grafana-5.2.1-1.x86_64.rpm
systemctl start grafana-server.service
设置开机启动并启动
刚安装完需要重载systemd配置:systemctl daemon-reload
启动服务:systemctl start grafana-server
查看状态:systemctl status grafana-server
设置开机启动: systemctl enable grafana-server.service
二进制文件: /usr/sbin/grafana-server
init.d 脚本: /etc/init.d/grafana-server
环境变量文件: /etc/sysconfig/grafana-server
配置文件: /etc/grafana/grafana.ini
启动项: grafana-server.service
日志文件:/var/log/grafana/grafana.log
默认配置的sqlite3数据库:/var/lib/grafana/grafana.db
之后页面上输入地址:http://192.168.20.150:3000
默认用户名密码:admin/admin
之后添加prometheus数据源
导入模板
ceph 的 Dashboard 模板可用从这里下载 https://github.com/magine1989/Ceph_Prometheus_Grafana
然后导入,分别导入3个Dashboard
点进去就可以看到数据了(exporter选择如下图所示的)
安装 ceph_exporter
安装依赖包
yum install golang
yum install librados2-devel librbd1-devel
vi /etc/profile.d/go.sh (新增环境变量文件)
export GOROOT=/usr/lib/golang
export GOBIN=$GOROOT/bin
export GOPATH=/home/golang
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
source /etc/profile.d/go.sh
安装ceph_exporter
go get -u github.com/digitalocean/ceph_exporter
cd /usr/lib/golang/bin/
启动 nohup ./ceph_exporter &
检验:http://ceph-client:9128
在Prometheus界面,选择 Status->Targets 显示ceph exporter已经可用
4.安装配置grafana
下载 wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.3-1.x86_64.rpm
安装
yum install grafana-4.6.3-1.x86_64.rpm
启动
systemctl start grafana-server
登陆 http://prometheus-test:3000/
默认用户名密码:admin/admin
添加prometheus数据源
导入模板
ceph 的 Dashboard 模板可用从这里下载 https://github.com/magine1989/Ceph_Prometheus_Grafana
然后导入,分别导入3个Dashboard
导入后就可以看到了
等一会儿,数据都上来了,就可以看到本文前面列出的3个面板了。
Dashboard以及Prometheus监控Ceph
Ceph启用Dashboard
#全部节点机都要手动安装
wget http://download.ceph.com/rpm-nautilus/el7/noarch/ceph-mgr-dashboard-14.2.10-0.el7.noarch.rpm
yum -y install ceph-mgr-dashboard-14.2.10-0.el7.noarch.rpm
#等全部节点都安装完,再次手动开启dashboard
ceph mgr module enable dashboard
#查看仪表板的详细信息
[cephadm@xiaomao ceph-cluster]$ ceph mgr module ls